Votre agent de support est en service depuis six semaines. Quelqu’un propose un modèle moins cher, un system prompt réécrit ou une nouvelle règle de remboursement. Avant de toucher à quoi que ce soit, vous voulez savoir si l’agent se dégrade, mais vous n’avez aucun moyen de le mesurer : le seul test que vous ayez jamais fait était la démonstration.
Vous disposez pourtant de la matière d’un vrai test. Elle se trouve dans votre outil de ticketing : les demandes réelles de clients et de collaborateurs du mois dernier, auxquelles des personnes ont déjà répondu. Cet article décrit comment transformer ces tickets en jeu de régression à exécuter avant chaque modification. Si vous préférez confier à une équipe la construction du dispositif de test, cela fait partie de notre travail de développement IA sur mesure.
Construisez le jeu de test à partir de vrais tickets avant de toucher à l’agent, et exécutez-le avant chaque modification du prompt, du modèle ou des règles. Voici la séquence que nous recommandons, avec les chiffres controversés attribués à leurs sources et les pièges de la protection des données nommés un à un.
Note de cadrage : Tester les agents IA explique ce qu’un acheteur doit exiger à la recette. Le présent article est la recette de fabrication du jeu lui-même. Les corrections que vos équipes apportent aujourd’hui deviennent les cas de test de demain grâce à la routine décrite dans la boucle de feedback de l’IA.
Pourquoi les tickets du mois dernier valent mieux que des cas inventés
Les cas inventés sont propres et bien rangés. Les vrais tickets contiennent le client qui pose trois questions dans un seul message, la description d’une capture d’écran collée à moitié, une phrase restée en suspens et une demande de remboursement enfouie au quatrième paragraphe. C’est précisément ce que rencontrera votre agent.
Le guide d’évaluation d’OpenAI met directement en garde contre ce piège : parmi les erreurs courantes, il cite le « biased design », c’est-à-dire des jeux d’évaluation qui ne reproduisent pas le trafic de production. L’équipe d’ingénierie d’Anthropic donne un conseil voisin dans son guide des évaluations d’agents : partir des vérifications manuelles que vous faites déjà avant une mise en production, ainsi que de votre outil de suivi des bugs et de la file du support.
Anthropic écrit aussi que convertir en cas de test les défaillances signalées par les utilisateurs garantit que la suite reflète l’usage réel. Les tickets sont la source la plus économique de tels cas, puisque quelqu’un a déjà nommé le problème et que quelqu’un d’autre y a déjà répondu.
Étape 1 : échantillonnez tout le mois, sans trier les cas les plus intéressants
Extrayez un mois de tickets clôturés et échantillonnez sur l’ensemble. La tentation est de choisir les tickets intéressants, ce qui donne un jeu rempli de cas difficiles et aveugle au milieu terne de la distribution, là où se concentre l’essentiel du volume.
Nous recommandons un échantillonnage stratifié. Ce schéma est le nôtre, aucune source ne le prescrit. Regroupez le mois par catégorie de ticket et par canal (e-mail, chat, formulaire web, notes téléphoniques), puis tirez dans chaque groupe à peu près proportionnellement au volume. Ajoutez volontairement une part supplémentaire dans les catégories où l’agent dispose de la plus faible marge d’erreur, comme les remboursements ou l’accès aux comptes.
Pour un helpdesk informatique, cela revient à représenter les réinitialisations de mot de passe, les problèmes de VPN, les demandes de matériel et les questions d’intégration, plus tous les tickets qui ont été escaladés. Notre article sur le helpdesk détaille ces catégories.
Conservez les tickets multi-tours. Un échange en six allers-retours avec une exigence qui change est plus difficile pour un agent qu’une question isolée. Le benchmark CRMArena-Pro de Salesforce AI Research relève environ 58 % de réussite en un seul tour et environ 35 % en contexte multi-tours, sur 19 tâches métier validées par des experts. C’est un benchmark éditeur, il teste des modèles de 2025 dans un environnement CRM simulé, et ses chiffres ne disent rien de votre agent. Il appuie néanmoins un choix de conception : ne réduisez pas votre jeu à des messages isolés.
Étape 2 : anonymisez avant que quiconque ne voie les données
Un ticket est un texte libre rédigé par des personnes qui y mettent des noms, des adresses, des numéros de contrat et parfois des données de santé. Verser ce texte dans un jeu de test constitue un nouvel usage de données personnelles. Faites d’abord le travail de protection.
Ce que la nLPD signifie concrètement
Nous ne sommes pas juristes et ceci ne constitue pas un avis juridique. Un contrôle juridique est recommandé avant d’agir sur cette base. Cela dit, voici les points que nous soumettrions à votre juriste.
- L’identifiabilité est relative. Husi-Stämpfli et Gubser, dans un article de 2026 de la revue suisse AJP/PJA, lisent la nLPD comme demandant si une personne est identifiable compte tenu des moyens et du point de vue de l’acteur qui détient les données. Les données pseudonymisées restent des données personnelles pour celui qui détient la clé. La loi elle-même parle seulement de personne identifiable, de sorte que le critère relatif provient de la doctrine et de la jurisprudence. Leur lecture est un commentaire académique : faites-la confirmer par un conseil.
- Finalité et risque. Les tickets ont été collectés pour servir le client, et leur réutilisation comme données de test est une nouvelle finalité que votre déclaration de confidentialité et vos registres devraient couvrir. L’usage à grande échelle de contenus sensibles peut en outre appeler une analyse d’impact relative à la protection des données.
- Anonymisez avant l’usage. Si vous parvenez à retirer les éléments identifiants avant que les tickets n’entrent dans le jeu de test, l’exposition diminue. Les auteurs ajoutent que la pseudonymisation ne réduit le risque que progressivement.
- Le caviardage relève de l’effort de bonne foi. Le projet Microsoft Presidio indique qu’il n’y a aucune garantie qu’il trouve toutes les informations sensibles et que des systèmes et protections supplémentaires doivent être employés. Considérez tout passage automatique comme un premier filtre.
- Restreignez l’accès. Conservez le jeu dans un emplacement avec des utilisateurs nominatifs et un journal, à l’écart des dossiers de projet ordinaires.
- Un juge LLM externe change la donne. Si un modèle hébergé lit les tickets pour noter les réponses, vous transmettez des données à un prestataire de services. Le même commentaire présente un contrat de traitement comme une exigence pour ce montage et relève que la communication à l’étranger suppose que le pays destinataire offre une protection adéquate ou, à défaut, d’autres garanties comme des clauses contractuelles. Savoir si votre prestataire et votre région remplissent cette condition est une question pour votre conseiller juridique et pour les conditions actuelles du prestataire.
Une routine de caviardage qui tient la route
Faites passer chaque ticket dans un outil de reconnaissance comme Presidio, remplacez noms, adresses e-mail, numéros de téléphone et identifiants par des marqueurs typés, puis lisez à la main un échantillon du résultat. Cinquante tickets caviardés constituent un contrôle par sondage raisonnable. Cherchez ce que l’outil laisse passer : un surnom, un nom d’entreprise qui identifie une personne, un incident rare que seul un client aurait pu décrire.
Lorsqu’un ticket ne peut pas être nettoyé, retirez-le du jeu. Un jeu plus petit et propre vous sert mieux qu’un jeu plus grand et risqué.
Étape 3 : lisez et étiquetez avant d’écrire la moindre grille
Résistez à l’envie de définir les métriques d’emblée. Le guide de terrain de Hamel Husain pour améliorer les produits IA plaide pour lire d’abord les traces et bâtir la taxonomie des défaillances à partir de ce que l’on observe, plutôt que de partir de scores génériques comme « hallucination » ou « utilité », qui passent souvent à côté des problèmes propres au domaine.
Lisez donc. Ouvrez les tickets caviardés à côté de ce que l’agent produit pour eux et notez brièvement chaque comportement indésirable. Au bout de quelques dizaines, des motifs apparaissent : l’agent cite un délai de retour périmé, ignore la deuxième question d’un message, promet un rappel qu’il ne peut pas planifier.
Transformez chaque motif en mode de défaillance nommé, puis étiquetez chaque ticket réussi ou échoué pour chaque mode qui s’applique. Le guide de Husain sur le LLM-as-judge préfère les étiquettes binaires aux échelles numériques et juge que les évaluations fondées sur des notes de 1 à 5 sont une erreur. Ce point de vue est contesté : la boucle de production de Shopify emploie quatre critères notés, avec des ancrages définis pour chaque note. Une grille chiffrée peut fonctionner une fois qu’une équipe l’a calibrée. Pour un premier jeu, nous prendrions le binaire réussi/échoué, car deux personnes se disputent moins sur une décision binaire.
Étape 4 : ajoutez des réponses de référence et des cas négatifs
Chaque cas a besoin d’un point de comparaison. Le guide d’Anthropic recommande une solution de référence pour chaque tâche, c’est-à-dire une sortie connue et fonctionnelle qui satisfait tous les évaluateurs. Pour un ticket, c’est la réponse qu’un expert rigoureux donnerait, rédigée une fois pour toutes.
Ajoutez ensuite les cas où l’agent ne doit rien faire, refuser ou passer la main à un humain. Anthropic le dit sans détour : testez aussi bien les cas où un comportement doit se produire que ceux où il ne doit pas se produire, car des évaluations unilatérales engendrent une optimisation unilatérale. Si chaque ticket de votre jeu récompense l’action, vous mettrez au point un agent qui agit sur tout.
L’agent humain s’est peut-être trompé
La réponse figurant dans l’historique du ticket est la référence évidente, et c’est un piège. Le personnel répond sous la pression du temps. Parfois la réponse était fausse, parfois elle était juste pour un client bénéficiant d’une exception que le ticket ne montre pas.
Le critère d’Anthropic pour une bonne tâche est que deux experts du domaine parviennent indépendamment au même verdict. Appliquez-le ici. Lorsque votre étiquette et la réponse historique divergent, faites trancher par un second expert et consignez le raisonnement dans le cas. Ces divergences comptent souvent parmi les entrées les plus utiles de tout le jeu.
Étape 5 : découpez le jeu et soyez honnête sur sa taille
Répartissez les tickets étiquetés entre une partie de développement, sur laquelle vous réglez l’agent, et une partie réservée que vous exécutez rarement. Le guide du juge de Husain suggère environ 10 à 20 % pour les exemples d’entraînement et 40 à 45 % chacun pour le développement et le test, le jeu de test n’étant exécuté qu’une fois à la fin. Pour les calculs ci-dessous, nous arrondissons à 10/45/45. Sans découpage, vous corrigerez l’agent pour les tickets que vous ne cessez de regarder.
Vient maintenant la question de la taille, sur laquelle les sources divergent.
| Source | Taille suggérée | Objectif |
|---|---|---|
| Ingénierie d’Anthropic | 20 à 50 tâches simples tirées d’échecs réels | Un point de départ, sans attendre des centaines de cas |
| Husain et Shankar, FAQ sur les evals | Commencer par 100 traces variées ; étiqueter de 100 à 200 exemples par mode de défaillance | Lecture pour découvrir les défaillances, puis validation du juge |
| Husain, guide du juge | Environ 30 à 50 exemples Pass et 30 à 50 exemples Fail pour chacun du développement et du test | Valider un juge LLM |
C’est autant une différence d’objectif que d’opinion. Aucun des deux camps ne publie de données de résultats à l’appui de ses chiffres : tenez-les pour de la pratique éclairée.
Voici notre propre arithmétique, présentée comme telle. Cent tickets avec ce découpage laissent environ 40 à 45 cas pour le développement. La règle de Husain, 30 à 50 Pass et 30 à 50 Fail pour le seul développement, exigerait de 60 à 100 éléments étiquetés, par mode de défaillance que vous voulez juger. Cent tickets vous donnent donc un jeu de contrôle rapide qui détecte les régressions évidentes. Ils ne vous donnent pas un juge validé. Soyez clair avec votre direction sur ce que vous avez construit.
Étape 6 : calibrez le juge avant de lui faire confiance
Noter à la main des centaines de réponses avant chaque mise en production ne passe pas à l’échelle ; beaucoup d’équipes utilisent donc un second LLM comme juge. Ce juge doit être vérifié par rapport à des humains, car les juges LLM présentent des biais de position, de verbosité et d’auto-préférence, selon l’article MT-Bench de 2023 de Zheng et ses collègues.
L’équipe d’ingénierie de Shopify décrit un calibrage concret dans son article sur Sidekick. Ses deux meilleurs annotateurs ou experts produit étiquettent à l’aveugle 25 échantillons tirés au hasard, et l’équipe mesure l’accord avec le kappa de Cohen. Selon l’article, une valeur très basse, autour de 0,2, signifie que la grille est ambiguë et que l’équipe doit se réunir et itérer. Shopify ne définit pas de niveau acceptable.
Lisez bien. Un kappa proche de 0,2 est un signal qu’il faut corriger la grille. Ce n’est ni un seuil à viser ni une note de passage. Une fois que vos annotateurs s’accordent entre eux, comparez le juge à leurs étiquettes.
Surveillez l’équilibre des classes à ce moment-là. L’exemple de Husain est celui d’un juge qui répond toujours Pass : si 5 % des exemples sont de vraies erreurs, il s’accorde quand même avec les humains dans 95 % des cas. Husain recommande d’évaluer le juge sur ses taux de vrais positifs et de vrais négatifs plutôt que sur l’accord brut.
Étape 7 : exécutez-le avant chaque modification, puis gardez-le vivant
Le jeu prouve son utilité à un moment précis : avant de modifier un prompt, de changer de modèle ou de réviser une règle métier. Exécutez-le, relevez le taux de réussite par mode de défaillance, faites la modification, exécutez-le de nouveau. Une baisse sur un seul mode vous indique où chercher. Ce même jeu est le prérequis si vous envisagez plus tard le fine-tuning plutôt que le prompting.
La maintenance est la partie que les équipes sautent. Anthropic décrit une suite d’évaluation comme un artefact vivant qui demande une attention continue et un responsable clairement désigné, et met en garde contre la saturation : l’agent réussit toutes les tâches résolubles et la suite cesse de vous apprendre quoi que ce soit. Pour voir comment une routine de feedback transforme les corrections du personnel en nouveaux cas, voyez IA auto-apprenante.
Concrètement :
- Désignez un responsable du jeu, comme pour n’importe quel autre actif.
- Alimentez-le chaque mois. Ajoutez les nouveaux échecs issus des tickets en cours et des corrections du personnel, et retirez les cas qui ne correspondent plus à vos produits ou à vos politiques.
- Recontrôlez le caviardage chaque fois que vous ajoutez des données.
Voici un tableau indicatif de l’effort pour la première construction. Ce sont nos propres estimations illustratives pour 100 tickets, et non une mesure ; valorisez-les à votre taux interne.
| Tâche | Effort illustratif |
|---|---|
| Échantillonnage et export | 2 à 3 heures |
| Script de caviardage et contrôle par sondage d’environ 50 sorties | 4 à 8 heures d’ingénierie |
| Étiquetage de tickets à message unique, 3 à 5 minutes chacun | 5 à 8 heures |
| Second annotateur sur 25 tickets pour le contrôle du kappa | Environ 2 heures |
| Construction et calibrage du juge | 1 à 2 jours |
| Fils multi-tours, 20 à 40 minutes chacun, 100 fils | 33 à 67 heures |
La dernière ligne emprunte son ordre de grandeur à l’article TRAIL, qui rapporte environ 30 à 40 minutes pour annoter une seule trace d’agent. Il s’agissait de traces d’ingénierie à étapes multiples, étiquetées par des annotateurs experts : les fils de support devraient donc aller plus vite. Même ainsi, l’étiquetage multi-tours dominera votre budget si vous incluez beaucoup de fils.
Ce que les tickets du mois dernier ne peuvent pas vous dire
Un jeu de tickets enregistre ce que les clients ont demandé, et ignore ce qu’ils n’ont jamais demandé parce que l’ancien processus les en décourageait. Il vieillit aussi : un changement de politique, un nouveau produit ou un pic saisonnier en rend une partie caduque en l’espace d’un trimestre.
Il ne révélera pas non plus les risques encore inconnus. Les tickets ne contiendront pas la prompt injection que personne n’a encore tentée, de sorte que les tests de sécurité exigent leurs propres cas. Et une exécution réussie ne prouve pas que l’agent est bon : elle prouve qu’il ne s’est pas dégradé sur les défaillances que vous connaissez déjà, une affirmation plus étroite mais qui garde toute sa valeur.
Construisez le jeu petit, étiquetez-le avec soin et protégez les données. Chaque discussion ultérieure sur un modèle moins cher ou un nouveau prompt pourra alors partir d’un chiffre plutôt que d’une opinion.
Questions fréquentes
De combien de tickets ai-je besoin pour le jeu de test d'un agent IA ?
Si vous visez un contrôle de régression, commencez par 20 à 50 cas, la fourchette que suggèrent les ingénieurs d'Anthropic. Pour valider un juge LLM, Husain et Shankar conseillent de lire environ 100 traces et d'étiqueter de 100 à 200 exemples par mode de défaillance. Ces deux repères sont des avis de praticiens : choisissez selon l'objectif et enrichissez le jeu à mesure que de nouveaux échecs apparaissent.
Puis-je utiliser de vrais tickets clients pour tester un agent IA au regard du droit suisse de la protection des données ?
Seulement avec prudence. Selon la nLPD, la question de savoir si une donnée identifie une personne dépend des moyens dont dispose celui qui la détient : un ticket caviardé peut donc rester une donnée personnelle. Anonymisez avant l'usage, restreignez l'accès et faites confirmer la position par un juriste avant qu'un modèle externe ne voie les tickets. Cet article ne constitue pas un conseil juridique.
Suffit-il de masquer les noms et les numéros dans les tickets pour les partager sans risque ?
Non, pas à lui seul. Les outils de caviardage fonctionnent au mieux de leurs capacités, et Microsoft indique qu'il n'existe aucune garantie que Presidio détecte toutes les informations sensibles. Le texte libre trahit en outre l'identité par son contexte, par exemple une fonction rare ou un incident unique. Contrôlez à la main un échantillon du résultat, limitez l'accès et traitez le jeu comme un contenu sensible.
Que signifie un kappa de Cohen de 0,2 pour un juge LLM ?
Il signifie que vos deux annotateurs s'accordent à peine plus que le hasard ne le ferait, donc que la grille d'évaluation est probablement ambiguë. Shopify cite une valeur très basse, autour de 0,2, comme le moment de se réunir pour retravailler la grille. C'est un signal d'alerte, et Shopify ne le présente pas comme un niveau acceptable.
La réponse de l''agent humain doit-elle compter comme la bonne réponse ?
Non, considérez-la comme un indice. Anthropic précise qu'une bonne tâche est une tâche sur laquelle deux experts du domaine parviendraient indépendamment au même verdict, et une réponse bâclée ou erronée ne passe pas ce test. Faites examiner par un second expert chaque divergence entre la réponse humaine et votre étiquette, puis consignez la décision avec le cas.