Skip to content
Chatta con un agente AI
Fondamenti

Context engineering per agenti AI: curare il contesto, compattare con cautela, conservare i fatti

Orange ITS — Team di ingegneria AI 12 min di lettura

Un agente di supporto lavora da due ore su un caso cliente. Ha letto il contratto, interrogato tre sistemi e redatto una risposta. Poi cita l’importo di un rimborso preso dalla fattura sbagliata e nessuno sa spiegare perché, dato che ogni fatto necessario era presente da qualche parte nella sessione.

I team di solito reagiscono comprando una context window più grande oppure tagliando la cronologia con più decisione. Entrambe le mosse possono aiutare, ed entrambe possono provocare proprio il guasto che volevano evitare. La disciplina che sta tra le due è il context engineering: decidere, passo dopo passo, che cosa vede il modello.

Per chi fa girare i modelli sul proprio hardware, il nostro lavoro sull’inferenza locale è il punto in cui la questione diventa un problema di hardware, perché ogni token tenuto nel contesto occupa memoria GPU finché la sessione resta aperta.

Un contesto curato e una compattazione attenta possono aumentare l’accuratezza e ridurre i costi, ma una compattazione troppo aggressiva elimina in silenzio i fatti che servono all’agente: il lavoro consiste nel decidere che cosa deve sopravvivere e poi nel verificare che sopravviva. Questo articolo presenta le evidenze, i compromessi e una checklist che un responsabile tecnico può applicare già questa settimana.

Nota di perimetro: le sei componenti di un agent harness, con una breve sezione sul contesto, sono trattate in architettura dell’agent harness. Qui approfondiamo solo il contesto.


Perché una finestra più grande non garantisce un recall migliore

Context rot è il nome informale del calo di qualità dell’output al crescere dell’input. Il test pubblico più accurato è il report Context Rot di Chroma, del luglio 2025. Ha valutato 18 modelli e afferma che le prestazioni peggiorano in modo costante all’aumentare della lunghezza dell’input, anche su compiti di retrieval semplici. Gli obiettivi con minore somiglianza degradavano più in fretta, e un singolo distrattore danneggiava l’accuratezza mentre quattro la danneggiavano di più. Chroma sviluppa un database vettoriale, quindi il report va letto come ricerca di un vendor, anche se i metodi sono descritti nel dettaglio.

Un secondo filone di evidenze viene dal benchmark NoLiMa, pubblicato a ICML 2025. Ha testato 13 modelli che dichiarano di supportare almeno 128K token, con domande a cui non si può rispondere cercando parole chiave corrispondenti. Secondo gli autori, GPT-4o è sceso dal 99,3% a lunghezze brevi al 69,7% a 32K token, e 11 dei 13 modelli a 32K sono scesi sotto la metà del loro riferimento a contesto breve.

La posizione all’interno della finestra è più controversa. Liu et al. hanno rilevato che i modelli rendono al meglio quando l’informazione rilevante si trova all’inizio o alla fine dell’input. Nel loro test con 20 documenti, GPT-3.5-Turbo è passato dal 75,8% al 53,8% quando la risposta si spostava al centro. Lo studio riguarda modelli del 2023. Chroma, testando modelli più recenti, non ha riscontrato variazioni significative in base alla posizione dell’ago. Il “lost in the middle” è un fenomeno da verificare sul tuo modello, senza darlo per scontato.

Una cautela sulle date. Tutto quanto sopra è stato misurato su modelli del 2025 o precedenti. A novembre 2026 Anthropic indica una finestra da 1M di token per i suoi modelli attuali, e i test di recall citati sopra sono precedenti a questa generazione. La capacità è una specifica. Il recall va misurato.


Che cosa comprende il context engineering

La guida di Anthropic al context engineering efficace inquadra il contesto come una risorsa finita con rendimenti marginali decrescenti. La sua documentazione sulla compattazione afferma che il contesto attivo viene mantenuto piccolo perché la qualità delle risposte peggiora man mano che la conversazione si allunga. Sono posizioni di un vendor, ma coincidono con le misurazioni indipendenti citate sopra.

Le tecniche si riducono a un piccolo insieme, ciascuna con il proprio modo di fallire.

TecnicaChe cosa faDove si rompe
Retrieval just-in-timeCarica documenti o record solo quando un passaggio ne ha bisognoPiù lento di un retrieval precalcolato, e l’agente può cercare male
Cancellazione dei risultati degli strumentiRimuove i vecchi output degli strumenti dopo l’usoIl contenuto cancellato non è più visibile al modello
CompattazioneRiassume una lunga cronologia e prosegue dal riassuntoDettagli, identificativi e istruzioni precedenti possono sparire
Note strutturateScrive lo stato in un file fuori dalla finestraLe note diventano obsolete, oppure l’agente dimentica di leggerle
SubagentiAffida un sotto-compito a un contesto nuovo e riceve un risultato breveCosto aggiuntivo, e il riassunto restituito può omettere ciò che conta

Il post di Anthropic dice la stessa cosa sulla compattazione con parole sue: una compattazione troppo aggressiva può far perdere un contesto sottile ma critico. Il resto di questo articolo ruota in gran parte attorno a dove passa quel confine.


Quanto fa risparmiare la cura del contesto

Il costo è il lato meglio misurato del discorso. Ogni token nel contesto viene fatturato in input e, nelle installazioni self-hosted, occupa anche memoria.

Modelli hosted. La documentazione di Anthropic (a novembre 2026) indica per le letture dalla cache 0,1 volte il prezzo base di input, oppure 0,05 volte su Opus 5.5 e Sonnet 5.5, con una durata predefinita della cache di cinque minuti. Un prefisso stabile di istruzioni costa quindi poco da rinviare. La documentazione di Anthropic sul context editing avverte che cancellare i vecchi risultati degli strumenti invalida i prefissi di prompt in cache: la quantità cancellata deve quindi essere abbastanza grande da giustificare la riscrittura della cache. Prezzi e funzioni beta cambiano, perciò controllali prima di impegnarti su un’architettura.

Modelli self-hosted. La memoria occupata dai token passati, la KV cache, cresce in modo lineare con il contesto. L’esempio svolto di Sebastian Raschka per Qwen3-8B (36 layer, 8 KV head, dimensione della head 128, bf16) dà 144 KiB per token. A 32.768 token sono circa 4,5 GiB per una singola sequenza. È la dimensione logica della cache e non comprende overhead dell’allocatore, frammentazione, batching e quantizzazione, quindi le installazioni reali differiscono. Resta il fatto che una sessione che conserva 30.000 token di output obsoleti degli strumenti occupa memoria GPU che un’altra sessione potrebbe usare. Il nostro articolo sul controllo dei costi dell’AI self-hosted mostra dove stanno queste voci in un budget completo.

Risparmi misurati. Lo studio JetBrains Complexity Trap ha confrontato diverse strategie per un agente di ingegneria del software su SWE-bench Verified, con cinque configurazioni di modello. L’observation masking, che nasconde i vecchi output degli strumenti ma conserva il ragionamento e le azioni dell’agente, ha ridotto il costo per istanza del 50-57% nella maggior parte delle configurazioni. L’LLM summarisation ha ridotto il costo del 41-55% nella maggior parte delle configurazioni. Il risultato sui costi è solido. Quello sull’accuratezza no, come mostra la sezione successiva.

Anthropic ha riportato nel suo post sulla gestione del contesto del settembre 2025 che memoria più context editing hanno migliorato le prestazioni del 39% nella sua valutazione interna di agentic search, che il solo context editing ha dato il 29% e che l’uso di token è sceso dell’84% in un test di ricerca web da 100 turni. Sono valutazioni interne di Anthropic. Il post non nomina alcun benchmark pubblico e non indica la baseline: leggile come un’indicazione di direzione, lontana da una previsione per il tuo carico di lavoro.


Dove la compattazione perde i fatti

La compattazione scambia dettaglio con spazio, e il dettaglio che scarta raramente è quello che avresti scelto tu.

La valutazione della compressione di Factory, pubblicata a dicembre 2025, ha assegnato punteggi a tre metodi di riassunto su sessioni per un totale di 36.611 messaggi, su una scala da 0 a 5 con un LLM come giudice. I punteggi complessivi sono stati 3,70 per Factory, 3,44 per Anthropic e 3,35 per OpenAI. La dimensione artifact, che riguarda quali file e oggetti l’agente ha toccato, è risultata la più bassa per tutti: 2,45, 2,33 e 2,19. L’articolo stesso afferma che l’artifact tracking resta un problema irrisolto. Valgono due avvertenze. Factory ha valutato il proprio prodotto contro due concorrenti, e il giudice era un modello linguistico.

JetBrains ha trovato la stessa fragilità da un’altra direzione. L’LLM summarisation ha abbassato il tasso di risoluzione di Gemini 2.5 Flash con thinking dal 40,4% al 31,4% e di Qwen3-32B dal 17,0% al 16,0%, un calo che il paper non considera significativo. Gli autori riportano inoltre che il riassunto porta in modo costante a traiettorie più lunghe, e lo attribuiscono al fatto che i riassunti mascherano i segnali di errore e spingono l’agente a continuare. Nemmeno il masking era privo di rischi: ha abbassato il tasso di risoluzione per Qwen3-32B e per Gemini 2.5 Flash con thinking, e l’ha alzato in altre configurazioni.

Il post di Anthropic sugli agenti di lunga durata arriva a una conclusione pratica. Riconosce la compattazione come strumento di gestione del contesto e afferma comunque che non basta per i lavori di lunga durata. Il rimedio proposto sono semplici file: un passaggio di inizializzazione, un file di avanzamento e la cronologia git, così che una nuova sessione possa ripartire dallo stato scritto. Un file mappa come AGENTS.md, che dice a ogni sessione dove si trova ciascuna cosa, è un’aggiunta di Orange ITS e non fa parte della ricetta di Anthropic.

Che aspetto ha tutto questo in un processo aziendale? I fatti che un agente non deve mai perdere tendono a essere piccoli ed esatti: un numero cliente, uno sconto approvato, una regola come “non contattare mai questo cliente per telefono”. Un riassunto è un posto poco adatto per conservarli.


Una checklist di budget del contesto per il responsabile tecnico

Pensa alla finestra come a un budget con quattro conti. Decidi che cosa va in ciascun conto prima che l’agente giri, poi verifica.

Da tenere sempre nel contesto

  • La definizione del compito e le regole che l’agente deve rispettare, in forma breve.
  • Le descrizioni degli strumenti effettivamente in uso. Togli le altre.
  • Il passaggio corrente e il risultato immediatamente precedente.

Da recuperare su richiesta

  • Documenti di policy, dati di prodotto, testi contrattuali e storico del cliente. Recupera la sezione pertinente quando un passaggio ne ha bisogno e scartala subito dopo.
  • Tabelle di riferimento. Interroga il record invece di incollare la tabella.
  • Tutto ciò che supera qualche migliaio di token e serve a un solo passaggio.

Da cancellare dopo l’uso

  • Output voluminosi degli strumenti, come risultati di ricerca completi, elenchi di file e risposte API. Il context editing di Anthropic (una funzione beta a novembre 2026) cancella i vecchi risultati degli strumenti a una soglia configurabile. I valori predefiniti documentati sono una soglia di 100.000 token di input e la conservazione dei tre utilizzi di strumenti più recenti. Il client conserva l’intera cronologia, ma il modello non vede più ciò che è stato cancellato.
  • Vicoli ciechi e tentativi abbandonati, cioè il tipo di distrazione che Chroma ha trovato dannoso.

Da scrivere in note fuori dalla finestra

  • Decisioni, questioni aperte e stato di ogni sotto-compito.
  • Gli identificativi che serviranno di nuovo all’agente, conservati in un file strutturato.
  • Un log di avanzamento, così che la sessione successiva o il modello successivo possa ripartire senza la cronologia.

Da non affidare mai a un riassunto

  • Istruzioni e divieti dati da una persona durante la sessione.
  • Identificativi come numeri cliente, ID d’ordine, numeri di fattura e percorsi dei file.
  • Importi, date e soglie da cui dipende una decisione.
  • Approvazioni, con chi le ha date e che cosa coprivano.

Scrivili in una nota o in un campo di database controllato dall’harness e reiniettali dopo ogni compattazione. Il modello deve leggerli da lì, senza affidarsi alla memoria.

Testare la compattazione come ogni altra modifica

Costruisci un piccolo insieme di casi in cui un fatto introdotto all’inizio deve essere usato alla fine, ed eseguilo prima e dopo aver cambiato impostazioni di compattazione, modello o istruzioni. Prendi i casi da errori reali, come descritto nelle nostre guide su test e valutazioni degli agenti AI e sulla costruzione di eval da ticket reali. Valuta il risultato, per esempio l’importo corretto del rimborso, e ignora quanto sia scorrevole il riassunto.

Vale la pena monitorare due misure fin dall’inizio. La prima è la quota di fatti da conservare che risultano ancora corretti dopo la compattazione. La seconda è il costo per compito completato, perché un’esecuzione più economica che richiede più passaggi può non esserlo nel complesso.


Che cosa resta controverso

Due questioni non hanno una risposta definitiva, e un piano sensato tiene conto di entrambe.

Riassunto o masking. Factory preferisce i riassunti strutturati, e la sua valutazione lo conferma. JetBrains ha rilevato che nei suoi test il masking eguagliava o superava l’LLM summarisation a costo inferiore, ma i risultati sul tasso di risoluzione cambiavano segno da una configurazione all’altra, quindi nessuno dei due approcci vince in modo netto. La valutazione di Factory usa il suo prodotto e il suo scoring. Una lettura equilibrata è che il masking sia il default più economico per gli agenti che usano molti strumenti e che i riassunti richiedano i test descritti sopra. Il tuo carico di lavoro può differire da SWE-bench, quindi misura su di esso.

File di contesto. Uno studio dell’ETH Zurigo (Gloaguen et al., arXiv 2602.11988) ha testato i file di contesto per agenti di programmazione. Ha rilevato che aumentavano in media il costo di inferenza di oltre il 20% e non miglioravano in generale il successo dei compiti. I file generati da LLM costavano il 20% e il 23% in più su due benchmark, mentre i file scritti dagli sviluppatori costavano al massimo il 19% in più. I file scritti dagli sviluppatori hanno guadagnato in media il 2,4%, una differenza che gli autori indicano come non significativa. Aggiungono che questi file sono utili per specificare pratiche non standard. Le prove riguardano repository Python e agenti di programmazione. Lo studio non copre altri carichi di lavoro degli agenti, quindi non c’è un fondamento per estendere il risultato a un agente di supporto o di finanza, né per scartarlo.

I file di istruzioni sono molto raccomandati negli scritti dei professionisti, il che è in tensione con lo studio. Possono essere vere entrambe le cose: un file breve che dice ciò che l’agente non può dedurre aiuta, mentre una lunga panoramica che ripete il codice aggiunge costo. La regola pratica è che ogni riga si guadagni il suo posto, e per saperlo bisogna eseguire il proprio set di eval con e senza di essa.


Misura prima di tagliare

È facile trattare il context engineering come un esercizio di tuning, ma le evidenze dicono che somiglia di più a uno scambio con un prezzo misurabile su entrambi i lati. Meno token abbassano i costi e, in alcune configurazioni, riducono la distrazione che peggiora le risposte. Meno token significano anche meno posti in cui possono stare un numero cliente o un’approvazione.

Ne risulta un ordine di lavoro chiaro. Decidi quali fatti devono sopravvivere, salvali fuori dalla finestra, applica il taglio più economico che i tuoi test consentono e riesegui lo stesso set di test ogni volta che cambiano il modello, la finestra o l’impostazione di compattazione. Un team che può dimostrare che importi dei rimborsi e approvazioni sopravvivono alla compattazione ha un agente a cui affidare sessioni più lunghe, mentre un team che non può dimostrarlo ha un risparmio di costi ancora non verificato.

Domande frequenti

Che cos'è il context engineering?

Il context engineering è la pratica di decidere quali informazioni un agente AI vede a ogni passaggio e quali no. Anthropic descrive il contesto come una risorsa finita con rendimenti marginali decrescenti: l'obiettivo è quindi il più piccolo insieme di informazioni che basta a svolgere il compito. Comprende istruzioni, documenti recuperati, risultati degli strumenti, note e la cronologia che viene portata avanti.

Che cos'è il context rot?

Il context rot è il calo della qualità delle risposte al crescere dell'input. Chroma ha testato 18 modelli e rilevato che le prestazioni peggiorano in modo costante con la lunghezza dell'input, e che i distrattori aggravano l'effetto. I risultati riguardano modelli del 2025 e compiti controllati: misura l'effetto sul tuo agente prima di progettare attorno a esso.

Una context window più grande risolve il problema?

No. A novembre 2026 Anthropic indica una finestra da 1M di token per i suoi modelli attuali, ma la dimensione della finestra misura la capacità e non dice nulla sul recall. Chroma e gli autori di NoLiMa hanno rilevato entrambi un calo di accuratezza all'aumentare dell'input su modelli del 2025. Una finestra più grande significa anche più token da pagare, quindi la cura del contesto riduce comunque i costi.

La compattazione del contesto è sicura per gli agenti in produzione?

Solo se viene testata. La compattazione riduce i costi, ma i riassunti scartano dei dettagli. Factory ha dato all'artifact tracking il punteggio più basso con ogni metodo valutato, e JetBrains ha visto l'LLM summarisation abbassare il tasso di risoluzione in alcune configurazioni. Proteggi istruzioni, identificativi, importi e approvazioni scrivendoli in note esterne e verifica con dei test che questi fatti sopravvivano alla compattazione.

Conviene scrivere un lungo file di istruzioni per il nostro agente?

Tienilo breve e testalo. Uno studio dell'ETH Zurigo sugli agenti di programmazione ha rilevato che i file di contesto aumentavano in media il costo di inferenza di oltre il 20% e non miglioravano in generale il successo dei compiti. I file scritti dagli sviluppatori hanno funzionato meglio di quelli generati e hanno aiutato con le pratiche non standard. Lo studio riguarda solo la programmazione: fai un confronto sul tuo caso.

Insights

Metti queste idee al lavoro

Bastano 30 minuti per capire se un agente AI si adatta al tuo flusso di lavoro — e quanto può rendere.