Un agent de support traite depuis deux heures le dossier d’un client. Il a lu le contrat, interrogé trois systèmes et rédigé une réponse. Puis il cite le montant d’un remboursement tiré de la mauvaise facture, et personne ne sait expliquer pourquoi, alors que tous les faits nécessaires se trouvaient quelque part dans la session.
Les équipes réagissent en général en achetant une fenêtre de contexte plus grande ou en élaguant l’historique plus fermement. Les deux options peuvent aider, et les deux peuvent provoquer précisément la défaillance qu’elles devaient éviter. La discipline qui se situe entre les deux est le context engineering : décider, étape par étape, ce que le modèle voit.
Pour les équipes qui exécutent des modèles sur leur propre matériel, notre travail sur l’inférence locale est le point où le sujet devient une question de hardware, car chaque token conservé dans le contexte occupe de la mémoire GPU aussi longtemps que la session reste ouverte.
Un contexte curé et un compactage soigné peuvent améliorer la précision et réduire les coûts, mais un compactage trop agressif supprime en silence les faits dont l’agent a besoin : le travail consiste à décider de ce qui doit survivre, puis à tester que cela survit. Cet article présente les preuves disponibles, les arbitrages et une checklist qu’un responsable technique peut appliquer dès cette semaine.
Note de périmètre : les six composants d’un agent harness, avec une courte section sur le contexte, sont traités dans l’architecture de l’agent harness. Nous approfondissons ici le seul contexte.
Pourquoi une fenêtre plus grande n’assure pas un meilleur rappel
Le context rot est le nom informel de la baisse de qualité des réponses lorsque l’entrée s’allonge. Le test public le plus rigoureux est le rapport Context Rot de Chroma, de juillet 2025. Il a évalué 18 modèles et indique que les performances se dégradent de façon constante avec la longueur de l’entrée, même sur des tâches de recherche simples. Les cibles présentant une moindre similarité se dégradaient plus vite, et un seul distracteur nuisait à la précision tandis que quatre lui nuisaient davantage. Chroma édite une base de données vectorielle : le rapport est donc à lire comme une recherche de fournisseur, même si ses méthodes sont exposées en détail.
Une deuxième série de preuves vient du benchmark NoLiMa, publié à l’ICML 2025. Il a testé 13 modèles qui affirment prendre en charge au moins 128K tokens, avec des questions auxquelles on ne peut pas répondre par simple correspondance de mots-clés. Selon les auteurs, GPT-4o est passé de 99,3 % sur de courtes longueurs à 69,7 % à 32K tokens, et 11 des 13 modèles sont tombés à 32K sous la moitié de leur référence en contexte court.
La position dans la fenêtre est plus discutée. Liu et al. ont constaté que les modèles réussissent le mieux lorsque l’information pertinente se trouve au début ou à la fin de l’entrée. Dans leur test à 20 documents, GPT-3.5-Turbo est passé de 75,8 % à 53,8 % lorsque la réponse se déplaçait au milieu. Cette étude porte sur des modèles de 2023. Chroma, en testant des modèles plus récents, n’a relevé aucune variation notable selon la position de l’aiguille. Le « lost in the middle » est donc une hypothèse à vérifier sur votre propre modèle, plutôt qu’une règle acquise.
Une précaution sur les dates. Tout ce qui précède a été mesuré sur des modèles de 2025 ou antérieurs. En novembre 2026, Anthropic indique une fenêtre de 1M de tokens pour ses modèles actuels, et les tests de rappel cités plus haut sont antérieurs à cette génération. La capacité est une spécification. Le rappel, il faut le mesurer.
Ce que couvre le context engineering
Le guide d’Anthropic sur le context engineering efficace présente le contexte comme une ressource finie aux rendements marginaux décroissants. Sa documentation sur le compactage explique que le contexte actif est maintenu petit parce que la qualité des réponses se dégrade à mesure que la conversation s’allonge. Ce sont des positions de fournisseur, mais elles concordent avec les mesures indépendantes citées plus haut.
Les techniques se résument à un petit nombre, chacune avec son mode de défaillance.
| Technique | Ce qu’elle fait | Où elle déraille |
|---|---|---|
| Récupération just-in-time | Charge documents ou enregistrements uniquement lorsqu’une étape en a besoin | Plus lente qu’une récupération précalculée, et l’agent peut mal chercher |
| Effacement des résultats d’outils | Supprime les anciennes sorties d’outils une fois utilisées | Le contenu effacé disparaît de la vue du modèle |
| Compactage | Résume un long historique et poursuit à partir du résumé | Détails, identifiants et instructions antérieures peuvent disparaître |
| Notes structurées | Écrit l’état dans un fichier hors de la fenêtre | Les notes deviennent obsolètes, ou l’agent oublie de les lire |
| Sous-agents | Confie une sous-tâche à un contexte neuf et récupère un résultat court | Coût supplémentaire, et le résumé renvoyé peut omettre l’essentiel |
Le billet d’Anthropic dit la même chose du compactage avec ses propres mots : un compactage trop agressif peut faire perdre un contexte subtil mais critique. Le reste de cet article porte en grande partie sur l’emplacement de cette limite.
Ce que la curation permet d’économiser
Le coût est le versant le mieux mesuré de l’argument. Chaque token du contexte est facturé en entrée et, en auto-hébergement, il occupe aussi de la mémoire.
Modèles hébergés. La documentation d’Anthropic (en novembre 2026) indique pour les lectures de cache 0,1 fois le prix d’entrée de base, ou 0,05 fois sur Opus 5.5 et Sonnet 5.5, avec une durée de vie du cache de cinq minutes par défaut. Un préfixe stable d’instructions coûte donc peu à renvoyer. La documentation d’Anthropic sur le context editing avertit que l’effacement d’anciens résultats d’outils invalide les préfixes de prompt en cache : la quantité effacée doit donc être assez grande pour justifier la réécriture du cache. Les prix et les fonctions bêta évoluent, vérifiez-les avant de vous engager sur une conception.
Modèles auto-hébergés. La mémoire consacrée aux tokens passés, le KV cache, croît linéairement avec le contexte. L’exemple détaillé de Sebastian Raschka pour Qwen3-8B (36 couches, 8 têtes KV, dimension de tête 128, bf16) donne 144 KiB par token. À 32 768 tokens, cela représente environ 4,5 GiB pour une seule séquence. C’est la taille logique du cache, qui exclut le surcoût de l’allocateur, la fragmentation, le batching et la quantification : les déploiements réels diffèrent donc. Cela montre néanmoins pourquoi une session qui conserve 30 000 tokens de sorties d’outils périmées occupe une mémoire GPU dont une autre session aurait pu profiter. Notre article sur la maîtrise des coûts de l’IA auto-hébergée montre où se situent ces coûts dans un budget complet.
Économies mesurées. L’étude JetBrains Complexity Trap a comparé des stratégies pour un agent d’ingénierie logicielle sur SWE-bench Verified, avec cinq configurations de modèle. L’observation masking, qui masque les anciennes sorties d’outils mais conserve le raisonnement et les actions de l’agent, a réduit le coût par instance de 50 à 57 % dans la plupart des configurations. L’LLM summarisation a réduit le coût de 41 à 55 % dans la plupart des configurations. Le résultat sur le coût est solide. Celui sur la précision l’est moins, comme le montre la section suivante.
Anthropic a indiqué dans son billet sur la gestion du contexte de septembre 2025 que la mémoire associée au context editing avait amélioré les performances de 39 % dans son évaluation interne de recherche agentique, que le context editing seul donnait 29 %, et que la consommation de tokens avait baissé de 84 % dans un test de recherche web de 100 tours. Ce sont des évaluations internes d’Anthropic. Le billet ne cite aucun benchmark public et ne précise pas la référence de comparaison : lisez ces chiffres comme une indication de tendance, loin d’une prévision pour votre charge de travail.
Où le compactage perd des faits
Le compactage échange du détail contre de l’espace, et le détail qu’il écarte est rarement celui que vous auriez choisi.
L’évaluation de la compression par Factory, publiée en décembre 2025, a noté trois méthodes de résumé sur des sessions totalisant 36 611 messages, sur une échelle de 0 à 5 avec un LLM comme juge. Les scores globaux étaient de 3,70 pour Factory, 3,44 pour Anthropic et 3,35 pour OpenAI. La dimension artifact, qui concerne les fichiers et objets que l’agent a touchés, était la plus basse pour tous : 2,45, 2,33 et 2,19. L’article lui-même précise que l’artifact tracking reste un problème non résolu. Deux réserves s’appliquent. Factory a évalué son propre produit face à deux concurrents, et le juge était un modèle de langage.
JetBrains a constaté la même fragilité sous un autre angle. L’LLM summarisation a fait baisser le taux de résolution de Gemini 2.5 Flash avec thinking de 40,4 % à 31,4 %, et celui de Qwen3-32B de 17,0 % à 16,0 %, une baisse que l’article ne juge pas significative. Les auteurs relèvent aussi que le résumé conduit systématiquement à des trajectoires plus longues, qu’ils attribuent au fait que les résumés masquent les signaux d’échec et encouragent l’agent à poursuivre. Le masking n’était pas sans risque non plus : il a fait baisser le taux de résolution pour Qwen3-32B et pour Gemini 2.5 Flash avec thinking, et l’a augmenté pour d’autres configurations.
Le billet d’Anthropic sur les agents de longue durée aboutit à une conclusion pratique. Il reconnaît le compactage comme une capacité de gestion du contexte, tout en affirmant qu’il ne suffit pas pour un travail de longue durée. Son remède tient à de simples fichiers : une étape d’initialisation, un fichier de progression et l’historique git, afin qu’une nouvelle session puisse reprendre à partir d’un état écrit. Un fichier cartographique comme AGENTS.md, qui indique à chaque session où se trouvent les choses, est un ajout propre à Orange ITS et ne fait pas partie de la recette d’Anthropic.
À quoi cela ressemble-t-il dans un processus d’entreprise ? Les faits qu’un agent ne doit jamais perdre sont souvent petits et exacts : un numéro de client, une remise approuvée, une règle comme « ne jamais contacter ce client par téléphone ». Un résumé est un mauvais endroit pour les conserver.
Une checklist de budget de contexte pour le responsable technique
Voyez la fenêtre comme un budget à quatre comptes. Décidez de ce qui va dans chacun avant que l’agent ne s’exécute, puis vérifiez après coup.
À garder en permanence dans le contexte
- La définition de la tâche et les règles que l’agent doit respecter, sous une forme courte.
- Les descriptions des outils réellement utilisés. Retirez les autres.
- L’étape en cours et le résultat immédiatement précédent.
À récupérer à la demande
- Documents de politique interne, données produit, textes de contrat et historique client. Allez chercher la section pertinente lorsqu’une étape en a besoin, puis écartez-la.
- Tables de référence. Interrogez l’enregistrement au lieu de coller la table.
- Tout ce qui dépasse quelques milliers de tokens et ne sert qu’à une seule étape.
À effacer une fois utilisé
- Les sorties d’outils volumineuses, comme des résultats de recherche complets, des listes de fichiers et des réponses d’API. Le context editing d’Anthropic (une fonction bêta en novembre 2026) efface les anciens résultats d’outils à un seuil configurable. Ses valeurs par défaut documentées sont un seuil de 100 000 tokens d’entrée et la conservation des trois utilisations d’outils les plus récentes. Le client conserve l’historique complet, mais le modèle ne voit plus ce qui a été effacé.
- Les impasses et les tentatives abandonnées, qui sont le type de distraction que Chroma a jugé nuisible.
À consigner dans des notes hors de la fenêtre
- Les décisions, les questions ouvertes et l’état de chaque sous-tâche.
- Les identifiants dont l’agent aura de nouveau besoin, conservés dans un fichier structuré.
- Un journal de progression, pour que la session suivante, ou le modèle suivant, puisse reprendre sans l’historique.
À ne jamais laisser à un résumé
- Les instructions et interdictions données par une personne pendant la session.
- Les identifiants tels que numéros de client, numéros de commande, numéros de facture et chemins de fichiers.
- Les montants, dates et seuils qui déterminent une décision.
- Les validations, avec la personne qui les a données et ce qu’elles couvraient.
Consignez-les dans une note ou un champ de base de données que contrôle le harness, et réinjectez-les après chaque compactage. Le modèle doit les relire à cet endroit, sans compter sur sa mémoire.
Tester le compactage comme n’importe quelle autre modification
Constituez un petit jeu de cas où un fait introduit au début doit être utilisé à la fin, puis exécutez-le avant et après avoir modifié les réglages de compactage, le modèle ou les instructions. Tirez les cas d’échecs réels, comme décrit dans nos guides sur les tests et évaluations des agents IA et sur la construction d’évaluations à partir de tickets réels. Notez le résultat, par exemple le bon montant de remboursement, et ignorez le caractère fluide du résumé.
Deux mesures méritent d’être suivies dès le départ. La première est la part des faits à conserver qui restent corrects après compactage. La seconde est le coût par tâche terminée, car une exécution moins chère qui exige plus d’étapes peut ne pas l’être au total.
Ce qui reste débattu
Deux questions n’ont pas de réponse tranchée, et un plan raisonnable tient compte des deux.
Résumé ou masking. Factory privilégie les résumés structurés, et sa propre évaluation va dans ce sens. JetBrains a constaté que, dans ses tests, le masking égalait ou dépassait l’LLM summarisation à moindre coût, mais ses résultats de taux de résolution changeaient de signe d’une configuration à l’autre : aucune approche ne l’emporte donc nettement. L’évaluation de Factory porte sur son propre produit et utilise son propre barème. Une lecture équilibrée est que le masking constitue le choix par défaut le plus économique pour les agents qui utilisent beaucoup d’outils, et que les résumés exigent les tests décrits plus haut. Votre charge de travail peut différer de SWE-bench, mesurez donc sur elle.
Fichiers de contexte. Une étude de l’ETH Zurich (Gloaguen et al., arXiv 2602.11988) a testé des fichiers de contexte pour agents de programmation. Elle a établi qu’ils augmentaient le coût d’inférence de plus de 20 % en moyenne et n’amélioraient pas en général la réussite des tâches. Les fichiers générés par LLM coûtaient 20 % et 23 % de plus sur deux benchmarks, et les fichiers rédigés par des développeurs au plus 19 % de plus. Ces derniers ont gagné 2,4 % en moyenne, un écart que les auteurs jugent non significatif. Ils ajoutent que de tels fichiers sont utiles pour préciser des pratiques non standard. Les preuves portent sur des dépôts Python et des agents de programmation. L’étude ne couvre pas d’autres charges de travail d’agents : rien ne permet donc d’étendre le résultat à un agent de support ou de finance, ni de l’écarter.
Les fichiers d’instructions sont largement recommandés dans les écrits de praticiens, ce qui est en tension avec l’étude. Les deux peuvent être vrais : un fichier court qui énonce ce que l’agent ne peut pas déduire aide, alors qu’un long aperçu qui répète le code ajoute du coût. La règle pratique est que chaque ligne doit mériter sa place, et le moyen de le savoir est d’exécuter votre jeu d’évaluation avec et sans elle.
Mesurez avant d’élaguer
On traite volontiers le context engineering comme un exercice de réglage, et les preuves suggèrent plutôt un arbitrage dont chaque côté a un prix mesurable. Moins de tokens réduisent le coût et, dans certaines configurations, la distraction qui dégrade les réponses. Moins de tokens signifient aussi moins d’endroits où peuvent se trouver un numéro de client ou une validation.
Cela donne un ordre de travail clair. Décidez quels faits doivent survivre, stockez-les hors de la fenêtre, appliquez l’élagage le moins coûteux que vos tests permettent, et relancez le même jeu de tests chaque fois que le modèle, la fenêtre ou le réglage de compactage change. Une équipe capable de montrer que ses montants de remboursement et ses validations survivent à un compactage dispose d’un agent auquel confier des sessions plus longues, et une équipe qui ne le peut pas détient une économie de coûts qu’elle n’a pas encore vérifiée.
Questions fréquentes
Qu'est-ce que le context engineering ?
Le context engineering consiste à décider quelles informations un agent IA voit à chaque étape, et lesquelles il ne voit pas. Anthropic décrit le contexte comme une ressource finie aux rendements marginaux décroissants : l'objectif est donc le plus petit ensemble d'informations qui permette encore de faire le travail. Il couvre les instructions, les documents récupérés, les résultats d'outils, les notes et l'historique que l'on reporte d'une étape à l'autre.
Qu'est-ce que le context rot ?
Le context rot est la baisse de qualité des réponses à mesure que l'entrée s'allonge. Chroma a testé 18 modèles et constaté que les performances se dégradent de façon constante avec la longueur de l'entrée, et que les distracteurs aggravent l'effet. Ces résultats portent sur des modèles de 2025 et des tâches contrôlées : mesurez l'effet sur votre propre agent avant de concevoir votre architecture autour de lui.
Une fenêtre de contexte plus grande règle-t-elle le problème ?
Non. En novembre 2026, Anthropic indique une fenêtre de 1M de tokens pour ses modèles actuels, mais la taille de la fenêtre mesure une capacité et ne dit rien du rappel. Chroma et les auteurs de NoLiMa ont tous deux observé une précision en baisse à mesure que l'entrée s'allonge sur des modèles de 2025. Une fenêtre plus grande signifie aussi plus de tokens à payer : la curation du contexte réduit donc toujours le coût.
Le compactage du contexte est-il sûr pour des agents en production ?
Seulement s'il est testé. Le compactage réduit le coût, mais les résumés écartent des détails. Factory a attribué à l'artifact tracking le score le plus bas avec chaque méthode évaluée, et JetBrains a vu l'LLM summarisation faire baisser le taux de résolution dans certaines configurations. Protégez les instructions, identifiants, montants et validations en les consignant dans des notes externes, et vérifiez par des tests que ces faits survivent au compactage.
Faut-il rédiger un long fichier d'instructions pour notre agent ?
Gardez-le court et testez-le. Une étude de l'ETH Zurich sur les agents de programmation a établi que les fichiers de contexte augmentaient le coût d'inférence de plus de 20 % en moyenne, sans améliorer en général la réussite des tâches. Les fichiers rédigés par des développeurs ont donné de meilleurs résultats que les fichiers générés et ont aidé pour les pratiques non standard. L'étude ne porte que sur la programmation : faites votre propre comparaison.