Skip to content
Discutez avec un agent IA
Fondamentaux

Harness engineering : même modèle, meilleurs résultats, et l'échafaudage que vous pouvez supprimer

Orange ITS — Équipe d’ingénierie IA 11 min de lecture

Une nouvelle version du modèle sort, votre agent se comporte autrement, et la moitié des règles de votre prompt ressemblent désormais à des superstitions. Chacune a été ajoutée après une mauvaise semaine. Personne ne se souvient desquelles comptent encore.

C’est le problème concret derrière le harness engineering, l’art d’améliorer un agent en changeant tout ce qui entoure le modèle, tandis que le modèle reste en place. Les résultats peuvent être importants, et les éditeurs qui vendent ces outils ont commencé à dire publiquement qu’une grande partie du travail est provisoire.

Si vous cherchez une équipe qui construit cela autour de vos propres systèmes et le révise à chaque changement de modèle, c’est le cœur de notre activité de forward-deployed AI engineering.

En résumé : le travail sur le harness peut déplacer fortement les résultats, le chiffre le plus connu est une preuve plus faible qu’il n’y paraît, et il vaut mieux construire l’essentiel en prévoyant de le supprimer plus tard. Cet article présente ce que montrent les données, ce qu’un gain pourrait valoir en argent et comment décider quel scaffolding conserver.

Note de périmètre : les six parties d’un harness sont traitées dans architecture d’un agent harness. Ici, il s’agit de ce que vaut leur modification et du moment où les retirer.


Ce qui a changé quand seul le harness a changé

Le cas le plus connu vient de LangChain. Dans un article daté du 17 février 2026, Vivek Trivedy décrit comment il a fait passer un agent de codage de 52,8 % à 66,5 % sur Terminal-Bench 2.0, soit un gain de 13,7 points, avec gpt-5.2-codex maintenu fixe pour toutes les exécutions. Selon l’article, l’agent est passé de juste en dehors des 30 premiers du classement aux 5 premiers.

Qu’ont-ils modifié ? D’après l’article, la liste comprend :

  • Une boucle de construction et de vérification dans le system prompt, destinée à un agent qui relisait son propre code, jugeait que tout allait bien et s’arrêtait.
  • Un middleware qui intercepte l’agent avant sa sortie et lui demande une vérification supplémentaire par rapport à la tâche.
  • Une carte du répertoire de travail et des outils disponibles, fournie dès le départ.
  • Un avertissement sur les budgets de temps.
  • Une détection de boucles qui compte les modifications d’un même fichier et suggère de repenser l’approche après des essais répétés.
  • Un calendrier d’effort de raisonnement : élevé à la planification, plus faible pendant la construction, puis de nouveau élevé à la vérification.

Presque rien de tout cela n’a d’exotique. Ce sont les contrôles qu’un collègue rigoureux ferait de lui-même, inscrits dans le système pour que le modèle ne puisse pas les sauter. Le vocabulaire mérite aussi attention : dans cet article, nous appelons ces éléments du scaffolding (échafaudage), parce qu’ils soutiennent quelque chose pendant sa construction.


Quelle confiance accorder à ce chiffre

Disons-le clairement : c’est l’essai d’un seul éditeur sur un seul benchmark. LangChain vend des outils pour agents. D’après la description de l’article, le harness a été réglé sur le benchmark même qui l’a évalué. LangChain n’indique pas combien d’essais ont été menés par configuration, et ne détaille pas combien de points chaque changement a apportés. La seule comparaison isolée qu’il présente concerne l’effort de raisonnement.

Le benchmark compte 89 tâches : 52,8 % correspondent à environ 47 tâches et 66,5 % à environ 59, soit une douzaine de tâches réussies en plus. Notre propre calcul approximatif, qui suppose une seule exécution par configuration et néglige la corrélation entre les tâches, situe l’erreur standard de cet écart autour de 7 points, ce qui donne un intervalle à 95 % d’environ 0 à 28 points. Un écart de 13,7 est donc un indice qui reste en deçà de la preuve. Considérez cette estimation comme la nôtre et non celle de LangChain.

La partie la plus utile de l’article pour un acheteur est ce que ses auteurs disent de leur propre travail. Ils écrivent que « les changements qui sur-ajustent une tâche nuisent à la généralisation et peuvent entraîner des régressions sur d’autres tâches ». Ils écrivent aussi que « ces garde-fous vont presque sûrement se dissoudre avec le temps ».

La conclusion est donc modeste, mais précieuse. Les changements du harness peuvent peser lourd, un éditeur qui a intérêt à le dire en a montré un cas, et ce même éditeur s’attend à ce que ses propres ajouts deviennent inutiles. Par ailleurs, les scores de versions différentes de Terminal-Bench ne sont pas comparables : ne rapprochez pas ce chiffre de ceux de versions ultérieures.


Ce que pourrait valoir pour vous un gain dû au seul harness

Les points de benchmark ne sont pas des résultats d’entreprise. Aucun test publié ne vérifie si un gain sur un benchmark de codage se transpose au rapprochement de factures, au tri de tickets ou au traitement de documents. Ce qui suit est de l’arithmétique, et elle est illustrative.

Prenons un workflow de 200 dossiers par mois.

Réussite sans supervisionDossiers traités sans revueDossiers nécessitant une personne
Avant52,8 %environ 106environ 94
Après66,5 %environ 133environ 67

L’écart est d’environ 27 dossiers par mois. Si chaque dossier escaladé coûte 20 minutes de travail à CHF 60 de l’heure, cela fait CHF 20 par dossier, soit environ CHF 540 par mois, ou environ CHF 6,500 par an.

Trois réserves entourent ce chiffre. Il ignore les coûts de construction, de tokens et de maintenance. Il suppose que le gain se transpose, ce que personne n’a démontré. Et il dépend fortement du volume : à 2,000 dossiers par mois, les mêmes hypothèses donnent une économie dix fois supérieure, tandis qu’à 40 dossiers par mois le travail sur le harness ne se rentabilise probablement jamais.

La régularité compte autant que la moyenne. Les recommandations d’Anthropic sur les évaluations notent qu’un taux de réussite de 75 % par essai tombe à environ 42 % si la même tâche doit réussir trois fois de suite. Un processus qui doit être juste à chaque fois exige un autre seuil qu’un processus dont chaque sortie est relue par une personne.

Le coût doit figurer sur la même page. Une étude de l’ETH Zurich sur les fichiers d’instructions, arXiv 2602.11988, rapporte que les fichiers de contexte n’amélioraient pas en général la réussite des tâches et augmentaient le coût d’inférence de plus de 20 % en moyenne. Le scaffolding supplémentaire a un prix, et il n’apporte parfois rien.


Un scaffolding à durée de vie limitée

Trois sources décrivent le même schéma depuis l’intérieur des entreprises qui conçoivent les modèles.

Anthropic. Lance Martin, écrivant pour l’équipe Claude Platform le 2 avril 2026, explique que les harness encodent des hypothèses sur ce que le modèle ne sait pas faire seul, et que ces hypothèses vieillissent à mesure que les modèles progressent. Son exemple : Sonnet 4.5 avait tendance à conclure trop tôt lorsqu’il sentait approcher sa limite de contexte, si bien qu’Anthropic avait ajouté des réinitialisations de contexte. Avec Opus 4.5, ce comportement avait disparu et les réinitialisations étaient devenues un poids mort. Son conseil est de dépouiller le harness et de se demander ce qu’on peut cesser de faire.

L’équipe de Claude Code. Lors d’un échange transcrit par Simon Willison, Thariq Shihipar a dit que retirer les exemples du prompt avait été extrêmement utile, que les anciens modèles de la classe Opus 4 réclamaient beaucoup d’exemples, et que l’équipe vise désormais moins de contraintes strictes, plus de contexte et moins d’instructions en général. Cat Wu a dit que l’équipe maintient maintenant un system prompt différent par modèle. Thariq a ajouté que l’on va vers moins d’outils. Cat a raconté avoir assoupli une règle absolue après avoir constaté qu’une affirmation vraie dans 90 % des cas était fausse dans les 10 % restants.

Vercel. Dans un article sur son agent interne text-to-SQL, Andrew Qu décrit le remplacement de 17 outils spécialisés par un seul, un outil bash (associé à un exécuteur SQL) pour explorer une couche sémantique documentée. Sur cinq requêtes de test, la réussite est passée de 4 sur 5 à 5 sur 5. L’échantillon est minuscule, et l’auteur précise que l’approche a fonctionné parce que la couche sémantique était déjà bien documentée. Une couche de données médiocre, prévient l’article, produirait vraisemblablement des requêtes plus rapides mais toujours fausses.

Le schéma est cohérent dans les trois cas : les règles, exemples et outils ajoutés pour couvrir une faiblesse tendent à lui survivre. Les conserver coûte des tokens et des contraintes dont le modèle plus récent n’a plus besoin. L’équipe de Claude Code a aussi mentionné que les évaluations comportementales destinées à vérifier ces décisions sont encore en construction et ne couvrent pas tout, ce que la section suivante prolonge.


Scaffolding périssable et scaffolding durable

Tout dans un harness n’a pas une date de péremption. Certaines parties existent à cause de ce que le modèle ne sait pas faire, et elles rétrécissent à mesure que les modèles progressent. D’autres existent à cause de ce que votre entreprise doit pouvoir démontrer, et elles restent.

ScaffoldingSusceptible d’expirer ?Raison
Réinitialisations de contexte pour conclusion prématuréeExpireConçues pour une génération de modèles, poids mort pour la suivante (Anthropic)
Longues listes de règles et exemples détaillésExpireLes modèles plus récents en auraient besoin de moins (équipe Claude Code)
Règles absolues du type « toujours vérifier »Expire ou à reformulerDes exceptions apparaissent quand les modèles changent (équipe Claude Code)
Contrôles avant achèvement et détection de bouclesProbablement expireLangChain s’attend à ce que ses garde-fous se dissolvent, sans donner l’effet de chaque changement
Longues listes d’outils et règles de sélectionDiminueClaude Code va vers moins d’outils, et Vercel a obtenu un meilleur résultat avec moins d’outils
Frontières de permissions et sandboxingDurableUn prompt n’est pas un contrôle, et les limites d’accès déterminent ce qu’une action peut atteindre
Identifiants restreints, journaux d’audit, validation des actions irréversiblesDurableLa redevabilité ne dépend pas de la qualité du modèle
Votre jeu d’évaluations de cas réelsDurableC’est le test qui indique si une suppression est sans risque
Définition écrite d’un résultat correctDurableTout modèle a besoin d’une cible

Le classement de ce tableau est notre lecture des sources. Aucune ne publie une telle liste comme résultat : adaptez-la à votre propre workflow.


Le point de vue sceptique

Tout le monde n’est pas d’accord pour dire que le harness compte beaucoup. Fabio Akita, dans un billet de blog d’août 2026, soutient que pour un modèle de pointe le harness n’est que du bruit, et que les grands écarts entre configurations révèlent le plus souvent des bugs de tuyauterie, comme une panne de transport, plutôt qu’un véritable effet du harness. Son benchmark est exécuté par lui-même et n’a pas été reproduit de façon indépendante, et il promeut ses propres outils : nous considérons donc ses chiffres comme non vérifiés.

Son avertissement reste utile. Avant d’attribuer un gain à une modification du harness, cherchez dans les journaux quelque chose de banal : un appel d’API échoué, une réponse tronquée, un outil qui a échoué en silence. Un grand bond ou une grande chute est une raison de chercher d’abord un bug.

De l’autre côté, le résumé d’un article d’atelier de l’ICML 2026, « How good is your harness? », de Jiwoo Han et Yuekai Sun, indique que le harness compte autant que le modèle, que le gain à choisir le meilleur harness est comparable au gain à choisir le meilleur modèle, et que les effets varient selon le modèle.

Il n’est pas nécessaire de trancher ce désaccord pour agir. Si l’effet est important, vous voulez le capter. S’il est faible, vous voulez éviter de payer pour entretenir un scaffolding qui sert peu. Les deux positions conduisent à mesurer sur vos propres cas.


Harness engineering et prompt engineering

Le prompt engineering en est un sous-ensemble. Un prompt façonne ce qui est dit au modèle, tandis qu’un harness décide aussi quels outils existent, ce qui est contrôlé avant que l’agent puisse terminer, comment les boucles sont interrompues et ce que l’agent a le droit de toucher. Si vous hésitez entre un copilote acheté et votre propre harness, harness IA sur mesure ou copilote SaaS traite précisément ce choix.

Cette différence change l’endroit où placer l’effort. Une phrase du prompt demandant à l’agent de vérifier son travail est une demande, alors qu’une étape de middleware qui bloque l’achèvement tant qu’une vérification n’a pas eu lieu est un mécanisme. Le second type peut être testé et journalisé. Il est aussi plus facile à retirer proprement, car il se trouve à un seul endroit au lieu d’être dispersé dans des paragraphes d’instructions.

Pour un responsable technique, l’habitude utile consiste à demander, pour chaque règle, si elle vit dans le prompt ou dans le code, qui l’a écrite et quel échec elle devait prévenir. Une règle sans échec documenté derrière elle est candidate à la suppression.


Retirer une règle, relancer les évaluations

Voici le test que nous recommandons. C’est une recommandation d’Orange ITS, et aucune source ne décrit cette procédure exacte. Elle suit l’esprit du conseil de Lance Martin, selon lequel les hypothèses du harness doivent être testées, et de l’usage des évaluations comportementales par l’équipe de Claude Code.

  1. Gardez un ensemble de cas réels avec des seuils de réussite convenus. Vingt à cinquante cas tirés d’échecs passés constituent un bon début, et notre guide sur les tests et évaluations des agents IA explique comment le construire.
  2. Choisissez une règle, un exemple, un outil ou un contrôle et retirez-le.
  3. Relancez l’ensemble sur le nouveau modèle, plusieurs fois si les résultats varient d’une exécution à l’autre.
  4. Comparez le taux de réussite. S’il a baissé, rétablissez la règle et notez pourquoi elle compte. S’il a tenu, laissez-la de côté.
  5. Recommencez avec le candidat suivant, un changement à la fois, et de nouveau à chaque changement de modèle.

Deux précautions s’imposent. Un ensemble trop petit ne détecte pas une légère baisse : une règle qui paraît anodine peut donc protéger un cas rare. Et le jeu d’évaluations lui-même doit être fiable, ce qui suppose de vérifier les résultats dans le système réel au lieu de lire l’affirmation de l’agent selon laquelle il a réussi.

Construisez le scaffolding dans cet esprit. Placez chaque règle à un endroit nommé, notez l’échec auquel elle répond et ajoutez une date de revue. Supprimer devient une modification courante au lieu d’une fouille archéologique.

Le scaffolding qui survit à chaque passage est la partie qui mérite d’être possédée : le jeu d’évaluations, les permissions, les journaux et le standard écrit d’un résultat correct. Le reste n’a jamais servi qu’à soutenir le modèle jusqu’à ce qu’il tienne debout tout seul.

Questions fréquentes

Qu'est-ce que le harness engineering ?

Le harness engineering est le travail de conception de tout ce qui entoure un modèle de langage et détermine le comportement d'un agent : ses instructions, ses outils, ses contrôles, ses nouvelles tentatives et ses limites. Le modèle reste le même, tandis que le code et la configuration autour de lui changent. LangChain emploie le terme pour un essai où seules ces parties ont changé et où le score au benchmark est passé de 52,8 % à 66,5 %.

En quoi le harness engineering diffère-t-il du prompt engineering ?

Le prompt engineering ajuste la formulation des instructions, alors que le harness engineering couvre tout le système autour du modèle, y compris les outils, les étapes de vérification, la détection de boucles et les permissions. Un prompt n'est qu'une composante du harness. En pratique, les changements du harness peuvent être imposés dans le code et testés sur des résultats, ce qu'une phrase dans un prompt ne peut pas garantir.

Un meilleur harness fera-t-il gagner 13 points de réussite à mon agent ?

Aucune règle citable ne le garantit. Le gain de 13,7 points vient de LangChain, sur un benchmark de codage, avec un réglage sur ce même benchmark, par une entreprise qui vend des outils pour agents. Aucune source ne vérifie si les points de benchmark se transposent au rapprochement de factures, au tri de tickets ou à d'autres workflows d'entreprise : mesurez l'effet sur vos propres dossiers avant de bâtir un plan dessus.

Quelles parties d'un harness deviendront obsolètes avec les progrès des modèles ?

Les plus exposées sont celles qui compensent une faiblesse du modèle, comme les réinitialisations de contexte, les longues listes de règles, les exemples détaillés et les rappels de vérification. Anthropic et LangChain le disent toutes deux de leurs propres harness. Les permissions, les journaux d'audit, les identifiants restreints et votre jeu d'évaluations tendent à rester, car ils servent à rendre des comptes et non à pallier les limites du modèle.

Comment savoir quelle règle supprimer ?

Retirez une règle, relancez votre jeu d'évaluations sur le nouveau modèle et comparez le taux de réussite. S'il ne baisse pas, la règle était un poids mort et vous pouvez l'abandonner. C'est une recommandation d'Orange ITS et non un résultat publié, et elle ne fonctionne que si vous disposez déjà d'un ensemble de cas réels avec des seuils de réussite convenus. Anthropic indique que les hypothèses d'un harness doivent être testées dans cet esprit.

Insights

Passez de l’idée à l’action

Un appel de 30 minutes suffit pour savoir si un agent IA s’intègre à votre flux de travail — et ce qu’il rapporterait.