Esce un nuovo modello, il tuo agente si comporta in modo diverso e metà delle regole nel prompt sembrano ormai superstizioni. Ognuna è stata aggiunta dopo una settimana andata male. Nessuno ricorda quali contino ancora.
È il problema pratico da cui nasce l’harness engineering, l’arte di migliorare un agente cambiando tutto ciò che sta attorno al modello, lasciando il modello com’è. I risultati possono essere ampi, e i vendor che vendono questi strumenti hanno cominciato a dire pubblicamente che gran parte del lavoro è temporanea.
Se cerchi un team che costruisca tutto questo attorno ai tuoi sistemi e lo riveda a ogni cambio di modello, è il cuore del nostro lavoro di forward-deployed AI engineering.
In sintesi: il lavoro sul harness può spostare molto i risultati, il numero più noto è un’evidenza più debole di quanto sembri, e conviene costruire quasi tutto pensando di poterlo eliminare in seguito. Questo articolo spiega cosa mostrano le prove, quanto potrebbe valere in denaro un miglioramento e come decidere quale scaffolding tenere.
Nota sul perimetro: le sei parti di un harness sono trattate in architettura dell’agent harness. Qui parliamo di quanto vale modificarle e di quando rimuoverle.
Cosa è cambiato quando è cambiato solo il harness
Il caso più noto è di LangChain. In un post del 17 febbraio 2026, Vivek Trivedy descrive come ha portato un coding agent dal 52,8% al 66,5% su Terminal-Bench 2.0, un aumento di 13,7 punti, con gpt-5.2-codex tenuto fisso in tutte le esecuzioni. Secondo il post, l’agente è passato da poco fuori dai primi 30 della classifica ai primi 5.
Cosa hanno modificato? Stando al post, l’elenco comprende:
- Un ciclo di costruzione e verifica nel system prompt, pensato per un agente che rileggeva il proprio codice, concludeva che andasse bene e si fermava.
- Un middleware che intercetta l’agente prima che esca e gli chiede un ulteriore passaggio di verifica rispetto al compito.
- Una mappa della directory di lavoro e degli strumenti disponibili, fornita all’inizio.
- Un avviso sui limiti di tempo.
- Un rilevamento dei loop che conta le modifiche allo stesso file e, dopo ripetuti tentativi, suggerisce di ripensare l’approccio.
- Un piano dello sforzo di ragionamento: alto in fase di pianificazione, più basso durante la costruzione e di nuovo alto in verifica.
Quasi nulla di tutto ciò è esotico. Sono i controlli che farebbe da sé un collega scrupoloso, scritti nel sistema perché il modello non possa saltarli. Vale la pena notare anche il vocabolario: in questo articolo chiamiamo queste parti scaffolding (impalcatura), perché sorreggono qualcosa mentre lo si costruisce.
Quanto fidarsi di quel numero
Chiariamolo subito: è il test di un singolo vendor su un singolo benchmark. LangChain vende strumenti per agenti. Per quanto descrive il post, il harness è stato ottimizzato sullo stesso benchmark su cui è stato valutato. LangChain non indica quante prove siano state eseguite per ogni configurazione e non scompone quanti punti abbia portato ciascuna modifica. L’unico confronto isolato riguarda lo sforzo di ragionamento.
Il benchmark conta 89 task, quindi il 52,8% corrisponde a circa 47 task e il 66,5% a circa 59: all’incirca 12 task superati in più. Un nostro calcolo approssimativo, che presume una sola esecuzione per configurazione e trascura la correlazione tra i task, stima un errore standard di circa 7 punti su quella differenza, il che dà un intervallo di confidenza al 95% di circa 0-28 punti. Una differenza di 13,7 è quindi un indizio e non una conferma. Considera questa stima come nostra e non di LangChain.
La parte più utile del post per chi acquista è ciò che gli autori scrivono sul proprio lavoro. Affermano che «le modifiche che si adattano troppo a un singolo task sono dannose per la generalizzazione e possono causare regressioni in altri task». Scrivono anche che «questi guardrail quasi certamente si dissolveranno col tempo».
Il risultato è quindi modesto ma prezioso. Le modifiche al harness possono pesare molto, un vendor con interesse a dirlo ha mostrato un caso, e lo stesso vendor si aspetta che le proprie aggiunte diventino superflue. Inoltre i punteggi di versioni diverse di Terminal-Bench non sono confrontabili: non accostare questa cifra a quelle delle versioni successive.
Quanto potrebbe valere per te un miglioramento dovuto solo al harness
I punti di un benchmark non sono risultati aziendali. Non esiste un test pubblicato che verifichi se un miglioramento su un benchmark di coding valga anche per la riconciliazione delle fatture, lo smistamento dei ticket o la gestione dei documenti. Quanto segue è aritmetica, ed è illustrativa.
Prendi un workflow da 200 casi al mese.
| Successo senza supervisione | Casi gestiti senza revisione | Casi che richiedono una persona | |
|---|---|---|---|
| Prima | 52,8% | circa 106 | circa 94 |
| Dopo | 66,5% | circa 133 | circa 67 |
La differenza è di circa 27 casi al mese. Se ogni caso escalato costa 20 minuti di lavoro a CHF 60 l’ora, sono CHF 20 a caso, quindi circa CHF 540 al mese, ovvero circa CHF 6,500 l’anno.
Attorno a questa cifra ci sono tre avvertenze. Non include i costi di sviluppo, di token e di manutenzione. Presume che il miglioramento si trasferisca, cosa che nessuno ha dimostrato. E dipende molto dal volume dei casi: con 2,000 casi al mese, a parità di ipotesi, il risparmio è dieci volte maggiore, mentre con 40 casi al mese il lavoro sul harness probabilmente non si ripaga mai.
La costanza conta quanto la media. Le linee guida di Anthropic sulle valutazioni osservano che un tasso di successo del 75% per singola prova scende a circa il 42% se lo stesso task deve riuscire tre volte di fila. Un processo che deve essere corretto ogni volta richiede una soglia diversa da uno in cui una persona rivede ogni output.
Anche il costo va messo sulla stessa pagina. Uno studio dell’ETH di Zurigo sui file di istruzioni, arXiv 2602.11988, riporta che i file di contesto in generale non miglioravano il successo dei task e aumentavano in media il costo di inferenza di oltre il 20%. Lo scaffolding aggiuntivo non è gratis e a volte non porta nulla.
Scaffolding con una data di scadenza
Tre fonti descrivono lo stesso schema dall’interno delle aziende che producono i modelli.
Anthropic. Lance Martin, scrivendo per il team di Claude Platform il 2 aprile 2026, afferma che i harness racchiudono ipotesi su ciò che il modello non sa fare da solo e che queste ipotesi invecchiano con il miglioramento dei modelli. Il suo esempio: Sonnet 4.5 tendeva a chiudere in anticipo quando percepiva il limite del contesto, perciò Anthropic aveva aggiunto dei reset del contesto. Con Opus 4.5 quel comportamento era scomparso e i reset erano diventati zavorra. Il suo consiglio è di ridurre il harness all’osso e chiedersi che cosa si possa smettere di fare.
Il team di Claude Code. In una conversazione trascritta da Simon Willison, Thariq Shihipar ha detto che togliere gli esempi dal prompt è stato estremamente utile, che i modelli della classe Opus 4 più vecchi volevano molti esempi e che il team ora punta a meno vincoli rigidi, più contesto e meno istruzioni in generale. Cat Wu ha detto che il team ora mantiene un system prompt diverso per ogni modello. Thariq ha aggiunto che si va verso meno strumenti. Cat ha descritto come ha ammorbidito una regola assoluta dopo aver scoperto che un’affermazione vera nel 90% dei casi era sbagliata nel restante 10%.
Vercel. In un post sul proprio agente interno text-to-SQL, Andrew Qu descrive la sostituzione di 17 strumenti specializzati con uno solo, uno strumento bash (affiancato da un esecutore SQL) per esplorare un livello semantico documentato. Su cinque query di prova il successo è passato da 4 su 5 a 5 su 5. È un campione minuscolo, e l’autore precisa che l’approccio ha funzionato perché il livello semantico era già ben documentato. Un livello dati scadente, avverte il post, produrrebbe probabilmente query più veloci ma comunque sbagliate.
Lo schema è coerente in tutti e tre i casi: regole, esempi e strumenti aggiunti per coprire una debolezza tendono a sopravviverle. Tenerli costa token e vincoli di cui il modello più recente non ha più bisogno. Il personale di Claude Code ha inoltre accennato che le valutazioni comportamentali per verificare queste decisioni sono ancora in costruzione e non coprono tutto, ed è da qui che riparte la sezione successiva.
Scaffolding che scade e scaffolding che dura
Non tutto in un harness ha una data di scadenza. Alcune parti esistono per ciò che il modello non sa fare, e si riducono con il miglioramento dei modelli. Altre esistono per ciò che la tua azienda deve poter dimostrare, e restano.
| Scaffolding | Probabile scadenza? | Motivo |
|---|---|---|
| Reset del contesto per la chiusura anticipata | Scade | Creati per una generazione di modelli, zavorra per la successiva (Anthropic) |
| Elenchi lunghi di regole ed esempi svolti | Scade | I modelli più recenti ne avrebbero bisogno di meno (team di Claude Code) |
| Regole assolute come «verifica sempre» | Scade o va riformulata | Con il cambiare dei modelli emergono eccezioni (team di Claude Code) |
| Controlli pre-completamento e rilevamento dei loop | Probabilmente scade | LangChain si aspetta che i suoi guardrail si dissolvano, ma non indica l’effetto di ogni modifica |
| Elenchi lunghi di strumenti e regole di selezione | Si riduce | Claude Code va verso meno strumenti e Vercel ha riportato un risultato migliore con meno strumenti |
| Confini dei permessi e sandboxing | Dura | Un prompt non è un controllo, e i limiti di accesso decidono fin dove può arrivare un’azione |
| Credenziali ristrette, log di audit, approvazione per azioni irreversibili | Dura | La responsabilità non dipende dalla qualità del modello |
| Il tuo set di valutazione con casi reali | Dura | È il test che dice se eliminare qualcosa è sicuro |
| Definizione scritta di risultato corretto | Dura | Qualsiasi modello ha bisogno di un obiettivo |
L’ordine di questa tabella è una nostra lettura delle fonti. Nessuna di esse pubblica un elenco simile come risultato, perciò adattalo al tuo workflow.
Il punto di vista scettico
Non tutti concordano sul fatto che il harness conti molto. Fabio Akita, in un post di blog di agosto 2026, sostiene che per un modello di frontiera il harness sia rumore e che le grandi oscillazioni tra configurazioni rivelino di solito bug di impiantistica, come un guasto di trasporto, e non un vero effetto del harness. Il suo benchmark è eseguito in proprio e non è stato riprodotto in modo indipendente, e Akita promuove i propri strumenti: consideriamo quindi i suoi numeri non verificati.
Il suo avvertimento resta comunque utile. Prima di attribuire un miglioramento a una modifica del harness, controlla nei log se c’è qualcosa di banale: una chiamata API fallita, una risposta troncata, uno strumento andato in errore in silenzio. Un balzo o un crollo grande è un motivo per cercare prima un bug.
Sul fronte opposto, il riassunto di un paper presentato a un workshop ICML 2026, «How good is your harness?», di Jiwoo Han e Yuekai Sun, sostiene che il harness conta quanto il modello, che il vantaggio di scegliere il miglior harness è paragonabile a quello di scegliere il miglior modello e che gli effetti variano da modello a modello.
Non serve risolvere il disaccordo per agire. Se l’effetto è grande, conviene coglierlo. Se è piccolo, conviene non pagare per mantenere uno scaffolding che fa poco. Entrambe le posizioni portano a misurare sui propri casi.
Harness engineering e prompt engineering
Il prompt engineering ne è un sottoinsieme. Un prompt determina che cosa viene detto al modello, mentre un harness decide anche quali strumenti esistono, che cosa si controlla prima che l’agente possa concludere, come si interrompono i loop e che cosa l’agente può toccare. Se stai valutando un copilota acquistato rispetto a un harness tuo, harness IA su misura o copilota SaaS tratta proprio questa scelta.
Questa differenza cambia dove investire l’impegno. Una frase nel prompt che chiede all’agente di verificare il proprio lavoro è una richiesta, mentre un passaggio di middleware che blocca il completamento finché non è stata eseguita una verifica è un meccanismo. Il secondo tipo si può testare e registrare nei log. Ed è anche più facile da rimuovere in modo pulito, perché sta in un punto solo invece di essere sparso in paragrafi di istruzioni.
Per un responsabile tecnico, l’abitudine utile è chiedersi, per ogni regola, se vive nel prompt o nel codice, chi l’ha scritta e quale errore doveva prevenire. Una regola senza alcun errore documentato alle spalle è candidata all’eliminazione.
Togli una regola, riesegui le valutazioni
Ecco il test che raccomandiamo. È una raccomandazione di Orange ITS e nessuna fonte descrive questa procedura esatta. Segue lo spirito del consiglio di Lance Martin, secondo cui le ipotesi del harness vanno verificate, e dell’uso delle valutazioni comportamentali da parte del team di Claude Code.
- Tieni un set di casi reali con soglie di superamento concordate. Venti-cinquanta casi tratti da errori passati sono un buon inizio, e la nostra guida ai test e alle valutazioni degli agenti IA spiega come costruirlo.
- Scegli una regola, un esempio, uno strumento o un controllo e rimuovilo.
- Riesegui il set sul nuovo modello, più volte se i risultati variano tra le esecuzioni.
- Confronta il tasso di successo. Se è sceso, ripristina la regola e annota perché conta. Se ha tenuto, lasciala fuori.
- Ripeti con il candidato successivo, una modifica alla volta, e di nuovo a ogni cambio di modello.
Valgono due cautele. Un set troppo piccolo non rileva un calo lieve, quindi una regola che sembra innocua potrebbe proteggere un caso raro. E il set di valutazione deve essere affidabile, il che significa controllare i risultati nel sistema reale invece di leggere l’affermazione dell’agente di avercela fatta.
Costruisci lo scaffolding con questo in mente. Metti ogni regola in un posto con un nome, annota l’errore a cui risponde e aggiungi una data di revisione. Eliminare diventa una modifica di routine invece di uno scavo archeologico.
Lo scaffolding che sopravvive a ogni passaggio è la parte che vale la pena possedere: il set di valutazione, i permessi, i log e lo standard scritto di risultato corretto. Il resto serviva solo a sorreggere il modello finché non fosse in grado di reggersi da solo.
Domande frequenti
Che cos'è l'harness engineering?
L'harness engineering è il lavoro di progettare tutto ciò che circonda un modello linguistico e determina il comportamento di un agente: istruzioni, strumenti, controlli, nuovi tentativi e limiti. Il modello resta lo stesso, mentre cambiano il codice e la configurazione attorno. LangChain usa il termine per un test in cui sono cambiate solo queste parti e il punteggio sul benchmark è salito dal 52,8% al 66,5%.
In che cosa l''harness engineering si distingue dal prompt engineering?
Il prompt engineering mette a punto la formulazione delle istruzioni, mentre l'harness engineering abbraccia l'intero sistema attorno al modello: strumenti, passaggi di verifica, rilevamento dei loop e permessi. Il prompt è solo un componente del harness. In pratica le modifiche al harness si possono imporre nel codice e verificare sui risultati, cosa che una frase in un prompt non può garantire.
Un harness migliore farà salire di 13 punti il tasso di successo del mio agente?
Nessuna regola citabile lo garantisce. Il miglioramento di 13,7 punti viene da LangChain, su un benchmark di coding, con ottimizzazione su quello stesso benchmark, da parte di un'azienda che vende strumenti per agenti. Nessuna fonte verifica se i punti del benchmark valgano per la riconciliazione delle fatture, lo smistamento dei ticket o altri workflow aziendali: misura l'effetto sui tuoi casi prima di costruirci un piano.
Quali parti di un harness diventeranno obsolete con il miglioramento dei modelli?
Le più esposte sono le parti che compensano un limite del modello, come i reset del contesto, gli elenchi lunghi di regole, gli esempi svolti e i richiami alla verifica. Anthropic e LangChain lo dicono entrambe dei propri harness. Permessi, log di audit, credenziali ristrette e il tuo set di valutazione tendono invece a restare, perché esistono per rispondere di ciò che l'agente fa e non per colmare limiti del modello.
Come capisco quale regola eliminare?
Togli una regola, riesegui il tuo set di valutazione sul nuovo modello e confronta il tasso di successo. Se non scende, la regola era zavorra e puoi eliminarla. È una raccomandazione di Orange ITS e non un risultato pubblicato, e funziona solo se hai già un set di casi reali con soglie di superamento concordate. Anthropic sostiene che le ipotesi del harness vadano verificate in questo spirito.