Skip to content
Discutez avec un agent IA
Sur mesure vs plateforme

Agent washing : comment repérer un chatbot rebaptisé avant de signer le contrat

Orange ITS — Équipe d’ingénierie IA 11 min de lecture

Vous assistez à la démo d’un fournisseur. L’assistant répond avec aisance, gère deux questions de relance, puis le commercial prononce le mot : agent. La liste de prix dit la même chose. Trois semaines plus tard, le pilote produit des transcriptions, et vos collaborateurs recopient toujours les résultats à la main dans l’ERP.

Ce schéma porte un nom, l’agent washing, et il est assez répandu pour que les analystes le suivent désormais. Le repérer avant de signer demande quelques vérifications précises, qui coûtent une heure de démo. Si vous connaissez déjà la catégorie de produit qu’il vous faut et souhaitez la faire construire sur mesure pour votre processus, notre travail de développement IA part de la même logique : définir ce que le système doit écrire, quand il doit s’arrêter et comment vous le vérifierez.

Un vrai agent se prouve sur place, car il modifie quelque chose dans un système que vous pouvez ouvrir. Les cinq tests ci-dessous sont conçus pour être menés en direct, par vous, sans l’aide du fournisseur.

Note de périmètre : la définition d’un agent par rapport à un chatbot est traitée dans agents IA vs chatbots. Cet article part de cette définition et se concentre sur ce qu’il faut faire pendant la démo.


Ce que signifie l’agent washing, et ce que Gartner a réellement dit

Gartner emploie le terme pour les fournisseurs qui rebaptisent des produits existants en produits agentiques. Selon le compte rendu de Reuters sur le communiqué de Gartner, les produits rebaptisés comprennent des assistants IA et des chatbots, et Gartner estime que seuls environ 130 des milliers de fournisseurs d’IA agentique sont réels. Le compte rendu de Reuters ne décrit ni les critères ni l’échantillon derrière ce chiffre de 130 ; lisez-le donc comme un jugement d’analystes. Il indique une direction, mais vous ne pouvez pas planifier sur cette base comme s’il s’agissait d’un pourcentage.

Le communiqué de presse de Gartner contient un second chiffre, souvent mal cité. Gartner prévoit que plus de 40 pour cent des projets d’IA agentique seront abandonnés d’ici fin 2027. Il s’agit d’une prévision, sans taux d’abandon mesuré derrière elle, et elle ne dit rien de 2026. Reuters rapporte comme motifs invoqués l’escalade des coûts et une valeur métier floue.

Pour un acheteur, la lecture pratique est simple. Les coûts et la valeur sont les deux éléments que vous pouvez tester avant d’engager de l’argent, et les tests qui suivent visent précisément cela.

Un régulateur s’est déjà penché sur ce type d’affirmation

En janvier 2025, la SEC a rendu une ordonnance contre Presto Automation. La SEC a indiqué que Presto avait faussement affirmé que son produit d’IA supprimait le besoin de prise de commande humaine dans les drive-in, alors que la grande majorité des commandes passées avec cette version du produit nécessitaient une intervention humaine. Presto a accepté une ordonnance de cessation sans sanction pécuniaire civile.

Ce cas est utile pour une raison. Une démo peut sembler autonome pendant qu’une personne effectue une partie du travail hors écran, et seules des preuves issues du système lui-même le révèlent. Les tests 1 et 5 existent pour cette situation.


Test 1 : faites-le écrire dans un système que vous pouvez ouvrir

Choisissez un enregistrement dans un système dont vous êtes propriétaire : un contact CRM, un bon de commande, un ticket. Demandez au fournisseur de faire modifier cet enregistrement par l’agent, en direct, avec vos identifiants ou sur une copie sandbox de votre système. Ouvrez ensuite le système vous-même, sur votre propre écran, et comparez l’état avant et après.

Une transcription qui indique « terminé » ne prouve rien. Un champ modifié, avec un horodatage et un identifiant d’utilisateur, prouve que l’action a eu lieu.

Points à surveiller :

  • Le chemin d’écriture. Quelle API ou quel connecteur l’agent a-t-il appelé ? Un vrai agent dispose de définitions d’outils qu’il sait nommer, avec des entrées et sorties documentées. Le guide pratique d’OpenAI pour construire des agents range parmi les types d’outils essentiels les outils d’action, comme la mise à jour d’un enregistrement CRM, et évalue le risque d’un outil selon qu’il est en lecture seule ou en écriture, et selon qu’il est réversible ou non.
  • Des scripts fixes déguisés. Si l’écriture se fait toujours de la même façon, sans variation quand vous changez l’entrée, vous avez peut-être affaire à du RPA doté d’un modèle de langage en façade. Cela peut être un excellent produit, mais ce n’est pas un agent.
  • La réversibilité. Demandez ce qui se passe si l’écriture est erronée. Un fournisseur qui a réfléchi au risque des outils vous dira quelles actions sont réversibles et lesquelles exigent une validation.

Building effective agents d’Anthropic va dans le même sens du côté du concepteur : l’effort doit porter sur l’interface entre l’agent et ses outils, avec une documentation et des tests rigoureux. Si le fournisseur ne peut pas vous montrer cette documentation, la couche d’outils n’existe peut-être pas.


Test 2 : changez la demande en cours de route

Les démos à un seul tour sont les plus faciles à répéter. Le travail réel ne se présente pas ainsi. Un client corrige une adresse, un responsable modifie le plafond de validation, une facture s’avère relever d’une autre entité.

Pendant la démo, lancez une tâche, puis modifiez un détail après le deuxième tour. Retirez une donnée obligatoire et voyez si l’agent la réclame ou l’invente. Contredisez une consigne précédente et observez laquelle l’emporte.

La recherche explique pourquoi c’est important. Le benchmark CRMArena-Pro de Salesforce AI Research a relevé environ 58 pour cent de réussite en un seul tour pour les meilleurs agents, tombant à environ 35 pour cent en situation multi-tours. Deux réserves s’imposent. Le benchmark a été conçu par un éditeur qui vend des agents, et les modèles testés datent de 2025 : les systèmes actuels font peut-être mieux. Utilisez ce résultat comme une raison de mener le test, sans le prendre pour un classement.

Un bon signe : un fournisseur qui montre un échec à ce stade et explique comment l’agent se rétablit. Un signe plus inquiétant : un script de démo qui ne quitte jamais le premier tour.


Test 3 : demandez ce qui l’arrête

Un agent incapable de s’arrêter est un risque. Demandez au fournisseur de montrer ce qui se passe quand quelque chose tourne mal, et demandez-le en direct.

Trois éléments à exiger :

  1. Un seuil d’échec. L’agent retente un appel d’outil qui échoue, puis s’arrête après un nombre fixé de tentatives et rend la main en ayant sauvegardé son état.
  2. Un déclencheur pour les actions à haut risque. Le guide d’OpenAI cite, parmi les actions à confier à une personne, l’annulation de commandes, l’autorisation de remboursements importants et l’exécution de paiements.
  3. Une condition d’arrêt. Anthropic décrit des agents qui marquent une pause pour recueillir un retour humain à des points de contrôle ou face à un blocage, et qui appliquent des conditions d’arrêt comme un nombre maximal d’itérations.

Posez ensuite la question gênante : qui est averti, par quel canal et en combien de temps ? Un arrêt qui envoie un e-mail vers une boîte que personne ne lit équivaut à une absence d’arrêt.

Un chatbot rebaptisé répond autrement. Il échoue en silence ou renvoie un message de repli poli et générique (« Je n’ai pas pu vous aider »), car rien dans le produit n’a été conçu pour transmettre une tâche à une personne avec son contexte.


Test 4 : demandez des exécutions répétées sur vos propres tâches

Une bonne exécution prouve peu de chose. Les systèmes à base de modèles de langage varient d’une exécution à l’autre, et c’est dans cette variation que naissent les problèmes en production.

L’article de tau-bench de Sierra en donne le cadrage le plus clair. Il évalue un agent en comparant l’état final de la base de données à l’état cible, et il rapporte le pass^k : la probabilité que l’agent résolve correctement la même tâche lors de chacune des k tentatives répétées. Les auteurs ont constaté que les agents à appel de fonctions réussissaient moins de 50 pour cent des tâches et se montraient assez inconstants, avec un pass^8 inférieur à 25 pour cent dans le domaine retail pour le meilleur modèle testé, gpt-4o. Il s’agissait d’un modèle de 2024 : ces chiffres illustrent la méthode, pas les performances actuelles.

Traduisez cela en demandes concrètes :

  • Demandez le jeu d’évaluation du fournisseur, le nombre de tâches qu’il contient et la manière dont les résultats sont notés.
  • Confiez-lui cinq à dix tâches issues de votre activité et réclamez les résultats sur des exécutions répétées, avec le taux de réussite pour chaque tentative.
  • Demandez ce qui a changé entre les deux dernières versions du modèle et si les évaluations ont été relancées.

Le guide d’OpenAI conseille de mettre en place des évaluations pour établir une base de référence avant de passer à l’échelle. Un fournisseur sans jeu d’évaluation vous demande de servir de suite de tests. On peut l’accepter, mais le prix et le contrat doivent alors en tenir compte.


Test 5 : demandez la trace de chaque exécution

Un journal de conversation montre ce qui a été dit. Une trace montre ce qui a été fait. Pour chaque exécution, il vous faut l’outil appelé, l’entrée reçue, la sortie renvoyée, l’horodatage, l’étape de raisonnement qui a mené à l’appel et, pour toute action à haut risque, la personne qui l’a approuvée.

Demandez à voir la trace d’une exécution qui a mal tourné. Les fournisseurs qui ont exploité des agents en production en disposent, car déboguer sans elles revient à tâtonner.

Une remarque sur la réglementation, volontairement limitée. L’AI Act de l’UE exige, à son article 12, l’enregistrement automatique des événements pour les systèmes d’IA à haut risque. Cette obligation ne s’étend pas à tous les agents : ne laissez donc pas un fournisseur la présenter comme une obligation légale universelle. Votre raison de réclamer des traces est opérationnelle : sans elles, personne ne peut vous expliquer pourquoi un enregistrement a changé, et l’ordonnance de la SEC visant Presto montre ce que peut cacher une affirmation commerciale pleine d’assurance.


Le tableau du jour de démo

Imprimez-le et emportez-le à la réunion. La colonne de droite décrit le schéma type, et un même produit peut en combiner plusieurs.

TestUn vrai agent montreUn chatbot rebaptisé, un outil RPA ou un assistant montre
1. ÉcrituresUn enregistrement modifié dans votre système, avec état avant et après, un appel d’outil nommé et une voie d’annulationUn message de chat qui indique « terminé », ou un script fixe qui écrit toujours de la même façon
2. Multi-toursRéclame les données manquantes, conserve l’état, s’adapte quand la demande changeGère le premier tour, puis dérive, se répète ou invente une valeur
3. ArrêtsSeuils et déclencheurs de risque définis, un transfert avec état et un destinataire nomméUn message de repli générique, ou un échec silencieux
4. Exécutions répétéesUn jeu d’évaluation, des taux de réussite sur plusieurs tentatives et des résultats sur vos tâchesUne unique exécution de vitrine soignée et un chiffre de précision en gros titre
5. TracesJournal par exécution avec outil, entrée, sortie, horodatage et approbateurUne transcription de la conversation

Ces cinq tests sont une synthèse construite à partir des recommandations publiées par des fournisseurs et de méthodes de benchmark. Aucun organisme de normalisation ne les a émis sous forme de liste de contrôle ; traitez-les donc comme un filtre pratique et ajoutez vos propres questions.


Quand un workflow déterministe est le bon achat

Certaines démos devraient se terminer par un fournisseur qui dit : vous n’avez pas besoin d’un agent pour cela.

Anthropic distingue les workflows, qui orchestrent modèles et outils via des chemins de code prédéfinis, des agents, et recommande de chercher la solution la plus simple possible en n’ajoutant de la complexité que si nécessaire. Le guide d’OpenAI indique que les applications qui utilisent un modèle sans lui laisser le contrôle de l’exécution du workflow, comme les chatbots simples et les classificateurs de sentiment, ne sont pas des agents. Il conseille aussi de valider votre cas d’usage au regard de ses critères avant de vous engager, car une solution déterministe peut suffire.

Ces deux organisations vendent des agents. Leur conseil d’acheter moins quand moins suffit pèse d’autant plus.

Prenez un processus à séquence stable : une facture arrive, les champs sont extraits, les montants sont comparés au bon de commande, une exception est transmise à une personne. Si les branches sont connues d’avance, un workflow avec un seul appel au modèle pour l’extraction est plus prévisible et moins cher à exploiter. L’appeler agent n’apporte rien.

Si votre processus comporte des étapes ouvertes, des entrées variées et des décisions qui dépendent du contexte, un agent commence à justifier son coût. Pour la question suivante, développer ou acheter, consultez build vs buy pour les agents IA.


Intégrer les tests dans un contrat de pilote suisse

Mener les tests une fois en démo est un début. Les inscrire dans l’accord de pilote est ce qui protège le budget.

  • Critères d’acceptation. Transformez chaque test en critère mesurable. Par exemple : l’agent écrit dans un système de référence nommé, en sandbox, avec un état avant et après vérifiable, et réussit une part convenue de vos propres tâches sur des exécutions répétées. Fixez le seuil vous-même, en fonction de ce que le processus manuel produit aujourd’hui.
  • Livrables de journalisation. Précisez les champs de la trace (outil, entrée, sortie, horodatage, approbateur) et la durée de conservation. Indiquez à qui appartiennent les journaux.
  • Comportement d’arrêt. Listez les actions qui doivent être confiées à une personne et nommez le rôle du destinataire.
  • Droit de sortie. Convenez que vous pouvez mettre fin au pilote à une date définie, sans frais supplémentaires, si les critères ne sont pas remplis. Tous les montants doivent être indiqués en CHF, avec un plafond de dépenses pour le pilote.
  • Changements de modèle. Exigez un préavis avant que le fournisseur remplace le modèle sous-jacent, ainsi qu’une nouvelle exécution des évaluations ensuite.

Compte tenu de la prévision de Gartner sur les abandons, la clause de sortie est le mécanisme qui transforme une valeur métier floue en une décision que vous pouvez prendre sur la base de preuves.

Si le pilote est concluant, vous avez un produit qui a mérité son étiquette. S’il échoue, vous avez payé une heure de démo et une courte période d’essai plutôt qu’une licence d’un an.

Un dernier contrôle avant de signer

Relisez vos notes de la démo. Le fournisseur vous a-t-il laissé ouvrir le système cible ? A-t-il montré un échec avec honnêteté ? A-t-il proposé d’exécuter vos tâches, et vous a-t-il déjà dit qu’une solution plus simple pouvait suffire ?

Les fournisseurs qui répondent oui aux quatre questions ont probablement construit quelque chose. Ceux qui contournent les questions vendent une étiquette.

Questions fréquentes

Qu'est-ce que l'agent washing ?

L'agent washing consiste à rebaptiser des produits existants, comme des chatbots, des assistants IA et de l'automatisation robotisée des processus (RPA), en IA agentique sans capacité agentique réelle. Le terme est employé par Gartner. Un véritable agent utilise des outils, écrit dans vos systèmes et décide de sa prochaine étape, alors qu'un produit rebaptisé se contente de converser ou de suivre un script fixe sous un nouveau nom.

Comment savoir en démo si l'agent IA d'un fournisseur est réel ?

Demandez au fournisseur d'exécuter une tâche en direct, puis ouvrez vous-même le système cible. Un vrai agent laisse un enregistrement modifié, un message envoyé ou un ticket créé que vous voyez en dehors de la fenêtre de chat. Modifiez ensuite la demande en cours de route, forcez un arrêt et réclamez le journal de chaque exécution. Un chatbot rebaptisé n'a généralement qu'une transcription à présenter.

Le chiffre de Gartner sur les 130 fournisseurs agentiques réels est-il fiable ?

Considérez-le comme une estimation d'analystes. Selon Reuters, Gartner a déclaré que seuls environ 130 des milliers de fournisseurs d'IA agentique sont réels, mais l'article ne décrit ni les critères ni l'échantillon derrière ce décompte. Ce chiffre est un avertissement utile sur l'effet de mode du marché et non un recensement audité : testez donc chaque produit sur son propre comportement.

Un simple workflow est-il un moins bon achat qu'un agent ?

Non. OpenAI et Anthropic affirment tous deux qu'un workflow déterministe peut être la meilleure réponse lorsque la tâche est bien définie. Anthropic note que les workflows offrent prévisibilité et cohérence pour les tâches bien définies, tandis que les agents échangent latence et coût contre de la flexibilité. Un fournisseur qui vous dit que votre cas d'usage appelle un workflow plutôt qu'un agent vous donne un conseil honnête.

Que doit prévoir une entreprise suisse dans le contrat d'un pilote d'agent IA ?

Inscrivez les tests de la démo dans le contrat comme critères d'acceptation, avec des seuils de réussite mesurés sur vos propres tâches, et convenez des journaux que le fournisseur doit livrer. Conservez un droit de sortie à la fin du pilote, sans pénalité ni frais supplémentaires. Votre budget est ainsi protégé si le produit se révèle être un chatbot rebaptisé.

Insights

Passez de l’idée à l’action

Un appel de 30 minutes suffit pour savoir si un agent IA s’intègre à votre flux de travail — et ce qu’il rapporterait.