Il tuo agente di supporto è in produzione da sei settimane. Qualcuno propone un modello più economico, un system prompt riscritto o una nuova regola sui rimborsi. Prima di cambiare qualsiasi cosa vorresti sapere se l’agente peggiora, ma non hai modo di dirlo: l’unico test che hai fatto è stata la demo.
Il materiale per un test vero, però, ce l’hai già. Sta nel tuo sistema di ticketing: le richieste reali di clienti e collaboratori dell’ultimo mese, a cui hanno già risposto delle persone. Questo articolo descrive come trasformare quei ticket in un set di regressione da eseguire prima di ogni modifica. Se preferisci affidare a un team la costruzione dell’infrastruttura di test, rientra nel nostro lavoro di sviluppo AI su misura.
Costruisci il set di test dai ticket reali prima di toccare l’agente ed eseguilo prima di ogni modifica a prompt, modello o regole. Qui trovi la sequenza che raccomandiamo, con i numeri controversi attribuiti alle loro fonti e le trappole sulla protezione dei dati indicate una per una.
Nota di contesto: Testare gli agenti AI spiega che cosa pretendere al collaudo da un fornitore. Questo articolo è la ricetta per costruire il set. Le correzioni che il tuo personale fa oggi diventano i casi di test di domani grazie alla routine descritta in il ciclo di feedback dell’AI.
Perché i ticket dell’ultimo mese battono i casi inventati
I casi inventati sono ordinati. I ticket veri contengono il cliente che scrive tre domande in un solo messaggio, la descrizione di uno screenshot incollata a metà, una frase lasciata in sospeso e una richiesta di rimborso sepolta nel quarto paragrafo. È esattamente ciò che incontrerà il tuo agente.
La guida alla valutazione di OpenAI mette in guardia proprio su questo punto e tra gli errori più comuni elenca il “biased design”, cioè dataset di valutazione che non riproducono il traffico di produzione. Il team di ingegneria di Anthropic dà un consiglio analogo nella sua guida alle valutazioni degli agenti: partire dai controlli manuali che già esegui prima di un rilascio, dal bug tracker e dalla coda del supporto.
Anthropic scrive inoltre che trasformare in casi di test i problemi segnalati dagli utenti garantisce che la suite rifletta l’uso reale. I ticket sono la fonte più economica di casi di questo tipo, perché qualcuno ha già descritto il problema e qualcun altro ha già risposto.
Passo 1: campiona l’intero mese, senza scegliere i casi più curiosi
Estrai un mese di ticket chiusi e campiona su tutti. La tentazione è scegliere quelli interessanti, ma così ottieni un set pieno di casi difficili e cieco rispetto alla parte ordinaria, dove si concentra la maggior parte del volume.
Raccomandiamo un campionamento stratificato. Lo schema è nostro e nessuna fonte lo prescrive. Raggruppa il mese per categoria di ticket e per canale (email, chat, modulo web, note telefoniche), poi pesca da ogni gruppo in proporzione approssimativa al volume. Aggiungi una quota deliberatamente maggiore dalle categorie in cui l’agente ha meno margine di errore, come i rimborsi o l’accesso agli account.
Per un helpdesk IT questo significa rappresentare reimpostazioni di password, problemi di VPN, richieste di hardware e domande di onboarding, più tutti i ticket che sono stati escalati. Queste categorie sono descritte meglio nel nostro articolo sull’helpdesk.
Tieni i ticket a più turni. Una conversazione con sei scambi e un requisito che cambia è più difficile per un agente di una domanda isolata. Il benchmark CRMArena-Pro di Salesforce AI Research riporta un successo di circa il 58% in singolo turno e di circa il 35% nei contesti a più turni, su 19 compiti aziendali validati da esperti. È un benchmark di un fornitore, mette alla prova modelli del 2025 in un ambiente CRM simulato e le cifre non dicono nulla sul tuo agente. Sostiene però una scelta di progetto: non ridurre il set ai soli messaggi singoli.
Passo 2: anonimizza prima che altri vedano i dati
Un ticket è testo libero scritto da persone che vi inseriscono nomi, indirizzi, numeri di contratto e a volte dati sanitari. Spostare quel testo in un set di test è un nuovo utilizzo di dati personali. Fai prima il lavoro di protezione.
Che cosa significa in pratica la nLPD
Non siamo avvocati e questa non è consulenza legale. Prima di agire ti consigliamo una verifica giuridica. Detto questo, ecco i punti che porteremmo davanti al legale.
- L’identificabilità è relativa. Husi-Stämpfli e Gubser, in un articolo del 2026 sulla rivista svizzera AJP/PJA, leggono la nLPD come una norma che chiede se una persona sia identificabile considerando i mezzi e la prospettiva di chi detiene i dati. I dati pseudonimizzati restano dati personali per chi possiede la chiave. La legge parla soltanto di persona identificabile, quindi il criterio relativo deriva da dottrina e giurisprudenza. La loro lettura è un commento scientifico: fai confermare la valutazione a un legale.
- Scopo e rischio. I ticket sono stati raccolti per servire il cliente, e riutilizzarli come dati di test è una nuova finalità che informativa sulla privacy e registri dovrebbero coprire. L’uso su larga scala di contenuti sensibili può inoltre richiedere una valutazione d’impatto sulla protezione dei dati.
- Anonimizza prima dell’uso. Se riesci a rimuovere i contenuti identificativi prima che i ticket entrino nel set, l’esposizione si riduce. Gli autori aggiungono che la pseudonimizzazione riduce il rischio solo in modo graduale.
- L’oscuramento è un tentativo al meglio delle possibilità. Il progetto Microsoft Presidio dichiara che non esiste alcuna garanzia che trovi tutte le informazioni sensibili e che occorre adottare sistemi e protezioni aggiuntivi. Considera qualsiasi passaggio automatico come un primo filtro.
- Limita gli accessi. Conserva il set in un luogo con utenti nominativi e un registro degli accessi, separato dalle normali cartelle di progetto.
- Un giudice LLM esterno cambia il quadro. Se un modello ospitato legge i ticket per valutare le risposte, stai inviando dati a un fornitore di servizi. Lo stesso commento indica un contratto di trattamento come requisito per questa configurazione e osserva che la comunicazione all’estero dipende dal fatto che il Paese destinatario offra una protezione adeguata o, in mancanza, da altre garanzie come le clausole contrattuali. Se il tuo fornitore e la tua regione soddisfino questo requisito è una questione per il tuo consulente legale e per le condizioni aggiornate del fornitore.
Una routine di anonimizzazione affidabile
Fai passare ogni ticket in un riconoscitore come Presidio, sostituisci nomi, email, numeri di telefono e identificativi con segnaposto tipizzati, poi leggi a mano un campione dell’output. Cinquanta ticket anonimizzati sono un controllo a campione ragionevole. Cerca ciò che lo strumento si lascia sfuggire: un soprannome, il nome di un’azienda che identifica una persona, un incidente raro che solo un cliente potrebbe aver descritto.
Se un ticket non si può ripulire, escludilo dal set. Un set più piccolo e pulito ti serve più di uno più grande e rischioso.
Passo 3: leggi ed etichetta prima di scrivere qualsiasi rubrica
Resisti alla tentazione di definire le metriche in anticipo. La guida di Hamel Husain per migliorare i prodotti AI sostiene di leggere prima le trace e di costruire la tassonomia degli errori su ciò che vedi, invece di partire da punteggi generici come “allucinazione” o “utilità”, che spesso mancano i problemi specifici del dominio.
Quindi leggi. Apri i ticket anonimizzati accanto a ciò che l’agente produce per loro e annota in breve ogni comportamento indesiderato. Dopo qualche decina emergono dei pattern: l’agente cita un termine di reso scaduto, ignora la seconda domanda di un messaggio, promette una richiamata che non è in grado di pianificare.
Trasforma ogni pattern in una modalità di errore con un nome, poi etichetta ogni ticket come superato o non superato per ciascuna modalità che si applica. La guida di Husain sull’LLM-as-judge preferisce le etichette binarie alle scale numeriche e giudica un errore le valutazioni basate su punteggi da 1 a 5. È una posizione discussa: il ciclo di produzione di Shopify usa quattro criteri con punteggio, con ancore definite per ogni voto. Una rubrica a punteggi può funzionare quando il team l’ha calibrata. Per un primo set noi sceglieremmo pass/fail, perché su una decisione binaria due persone discutono meno.
Passo 4: aggiungi risposte di riferimento e casi negativi
Ogni caso ha bisogno di qualcosa con cui confrontarsi. La guida di Anthropic raccomanda una soluzione di riferimento per ogni compito, cioè un output noto e funzionante che superi tutti i valutatori. Per un ticket è la risposta che darebbe un esperto scrupoloso, scritta una volta per tutte.
Poi aggiungi i casi in cui l’agente dovrebbe non fare nulla, rifiutare o passare la mano a una persona. Anthropic lo dice senza giri di parole: verifica sia i casi in cui un comportamento deve verificarsi sia quelli in cui non deve, perché valutazioni unilaterali producono un’ottimizzazione unilaterale. Se ogni ticket del tuo set premia l’azione, metterai a punto un agente che agisce su tutto.
L’operatore umano potrebbe aver sbagliato
La risposta presente nello storico del ticket è il riferimento più ovvio, ed è una trappola. Il personale risponde sotto pressione. A volte la risposta era sbagliata, a volte era giusta per un cliente con un’eccezione che il ticket non mostra.
Il criterio di Anthropic per un buon compito è che due esperti del settore arrivino in modo indipendente allo stesso verdetto. Applicalo qui. Dove la tua etichetta e la risposta storica divergono, fai decidere a un secondo esperto e scrivi la motivazione nel caso. Queste divergenze sono spesso le voci più utili dell’intero set.
Passo 5: dividi il set e sii onesto sulle sue dimensioni
Dividi i ticket etichettati in una parte di sviluppo, su cui fai la messa a punto, e una parte riservata che esegui di rado. La guida di Husain sul giudice suggerisce dal 10 al 20% circa per gli esempi di addestramento e dal 40 al 45% ciascuno per sviluppo e test, con il set di test eseguito una sola volta alla fine. Per i conti qui sotto arrotondiamo a 10/45/45. Senza questa divisione correggerai l’agente solo per i ticket che continui a guardare.
Ora la questione delle dimensioni, su cui le fonti non concordano.
| Fonte | Dimensione suggerita | Scopo |
|---|---|---|
| Ingegneria di Anthropic | Da 20 a 50 compiti semplici tratti da errori reali | Un punto di partenza, senza attendere centinaia di casi |
| Husain e Shankar, FAQ sulle evals | Partire da 100 trace diverse; etichettare da 100 a 200 esempi per modalità di errore | Lettura per scoprire gli errori, poi validazione del giudice |
| Husain, guida al giudice | Circa da 30 a 50 esempi Pass e da 30 a 50 Fail ciascuno per sviluppo e test | Validare un giudice LLM |
È una differenza di scopo almeno quanto di opinione. Nessuna delle due parti pubblica dati sui risultati a sostegno dei propri numeri, quindi considerali pratica informata.
Ecco il nostro calcolo, presentato come tale. Cento ticket con quella divisione lasciano circa da 40 a 45 casi per lo sviluppo. La regola di Husain, da 30 a 50 Pass e da 30 a 50 Fail solo nello sviluppo, richiederebbe da 60 a 100 casi etichettati per ogni modalità di errore che vuoi giudicare. Quindi 100 ticket ti danno un set di controllo rapido che intercetta le regressioni evidenti. Non ti danno un giudice validato. Chiarisci con la direzione quale dei due hai costruito.
Passo 6: calibra il giudice prima di fidarti
Valutare a mano centinaia di risposte prima di ogni rilascio non scala, perciò molti team usano un secondo LLM come giudice. Il giudice va verificato rispetto alle persone, perché secondo il paper MT-Bench del 2023 di Zheng e colleghi i giudici LLM mostrano bias di posizione, di prolissità e di autopreferenza.
Il team di ingegneria di Shopify descrive una calibrazione concreta nel suo post su Sidekick. I suoi due migliori annotatori o esperti di prodotto etichettano alla cieca 25 campioni casuali e il team misura la concordanza con il kappa di Cohen. Secondo il post, un valore molto basso, intorno a 0,2, indica che la rubrica è ambigua e che il team deve riunirsi e riprovare. Shopify non definisce un livello accettabile.
Leggilo con attenzione. Un kappa vicino a 0,2 è il segnale che la rubrica va corretta. Non è una soglia da raggiungere né una sufficienza. Quando le tue persone concordano tra loro, confronta il giudice con le loro etichette.
Fai attenzione al bilanciamento delle classi. L’esempio di Husain è un giudice che risponde sempre Pass: se il 5% degli esempi contiene errori veri, concorda comunque con gli umani nel 95% dei casi. Husain raccomanda di valutare il giudice sui tassi di veri positivi e veri negativi invece che sulla concordanza grezza.
Passo 7: eseguilo prima di ogni modifica, poi tienilo vivo
Il set dimostra il suo valore in un momento preciso: prima di cambiare un prompt, sostituire un modello o modificare una regola di business. Eseguilo, registra il tasso di successo per modalità di errore, fai la modifica, eseguilo di nuovo. Un calo su una sola modalità ti dice dove guardare. Lo stesso set è il prerequisito se più avanti valuti il fine-tuning rispetto al prompting.
La manutenzione è la parte che i team saltano. Anthropic descrive una suite di valutazione come un artefatto vivo che richiede attenzione costante e una responsabilità chiara, e avverte della saturazione: l’agente supera tutti i compiti risolvibili e la suite smette di insegnarti qualcosa. Per come una routine di feedback trasforma le correzioni del personale in nuovi casi, vedi sistemi di AI che imparano da soli.
In pratica:
- Nomina un responsabile del set, come faresti per qualsiasi altro asset.
- Alimentalo ogni mese. Aggiungi i nuovi errori dai ticket attivi e dalle correzioni del personale, e ritira i casi che non corrispondono più ai tuoi prodotti o alle tue policy.
- Ricontrolla l’anonimizzazione ogni volta che aggiungi dati.
Segue una tabella indicativa dell’impegno per la prima costruzione. Sono stime illustrative nostre per 100 ticket e non una misurazione: valorizzale alla tua tariffa interna.
| Attività | Impegno illustrativo |
|---|---|
| Campionamento ed esportazione | Da 2 a 3 ore |
| Script di anonimizzazione e controllo a campione di circa 50 output | Da 4 a 8 ore di ingegneria |
| Etichettatura di ticket a messaggio singolo, da 3 a 5 minuti ciascuno | Da 5 a 8 ore |
| Secondo valutatore su 25 ticket per il controllo del kappa | Circa 2 ore |
| Costruzione e calibrazione del giudice | Da 1 a 2 giorni |
| Conversazioni a più turni, da 20 a 40 minuti ciascuna, 100 conversazioni | Da 33 a 67 ore |
L’ultima riga prende la scala dal paper TRAIL, che riporta circa da 30 a 40 minuti per annotare una singola trace di agente. Erano trace ingegneristiche a più passaggi etichettate da annotatori esperti, quindi le conversazioni di supporto dovrebbero richiedere meno. Anche così, l’etichettatura a più turni dominerà il tuo budget se includi molte conversazioni.
Ciò che i ticket dell’ultimo mese non possono dirti
Un set di ticket registra ciò che i clienti hanno chiesto, e non ciò che non hanno mai chiesto perché il vecchio processo li scoraggiava. Inoltre invecchia: un cambio di policy, un nuovo prodotto o un picco stagionale rendono obsoleta una parte del set nel giro di un trimestre.
Non scopre nemmeno i rischi ancora ignoti. I ticket non conterranno la prompt injection che nessuno ha ancora provato, quindi i test di sicurezza richiedono casi propri. E un’esecuzione superata non dimostra che l’agente sia buono: dimostra che non è peggiorato sugli errori che già conosci, un’affermazione più modesta ma comunque preziosa.
Costruisci il set in piccolo, etichettalo con cura e proteggi i dati. Da quel momento ogni discussione su un modello più economico o su un nuovo prompt potrà partire da un numero invece che da un’opinione.
Domande frequenti
Di quanti ticket ho bisogno per il set di test di un agente AI?
Se ti serve un controllo di regressione, parti da 20 a 50 casi, che è l'intervallo suggerito dagli ingegneri di Anthropic. Se vuoi validare un giudice LLM, Husain e Shankar consigliano di leggere circa 100 trace e di etichettare da 100 a 200 esempi per ogni modalità di errore. Sono entrambe opinioni di professionisti: scegli in base allo scopo e fai crescere il set man mano che emergono nuovi errori.
Posso usare ticket reali dei clienti per testare un agente AI secondo la legge svizzera sulla protezione dei dati?
Solo con le dovute cautele. Secondo la nLPD, se un dato identifichi una persona dipende dai mezzi a disposizione di chi lo detiene, perciò un ticket oscurato può restare un dato personale. Anonimizza prima dell'uso, limita gli accessi e fai confermare la posizione a un legale prima che un modello esterno veda i ticket. Questo articolo non costituisce consulenza legale.
Oscurare nomi e numeri nei ticket basta per condividerli in sicurezza?
Da solo no. Gli strumenti di redazione lavorano al meglio delle loro possibilità e Microsoft precisa che non c'è alcuna garanzia che Presidio trovi tutte le informazioni sensibili. Inoltre il testo libero rivela l'identità attraverso il contesto, per esempio con una mansione rara o un incidente unico. Controlla a mano un campione dell'output, limita gli accessi e tratta il set come materiale sensibile.
Che cosa significa un kappa di Cohen di 0,2 per un giudice LLM?
Significa che i due valutatori concordano appena più di quanto farebbe il caso, quindi la rubrica è probabilmente ambigua. Shopify indica un valore molto basso, intorno a 0,2, come il momento di riunirsi e rivedere la rubrica. È un campanello d'allarme, e Shopify non lo definisce un livello accettabile.
La risposta dell''operatore umano deve valere come risposta corretta?
No, va trattata come una prova. Secondo Anthropic un buon compito è quello su cui due esperti del settore arriverebbero in modo indipendente allo stesso verdetto, e una risposta frettolosa o sbagliata dell'operatore non supera questo test. Fai esaminare a un secondo esperto ogni divergenza tra la risposta umana e la tua etichetta, poi annota la decisione insieme al caso.