Assisti a una demo di un fornitore. L’assistente risponde con scioltezza, gestisce due domande di approfondimento e poi il commerciale pronuncia la parola: agente. Anche il listino dice lo stesso. Tre settimane dopo il pilota produce trascrizioni, e i tuoi collaboratori continuano a copiare a mano i risultati nell’ERP.
Questo schema ha un nome, agent washing, ed è abbastanza diffuso da essere ormai monitorato dagli analisti. Riconoscerlo prima di firmare richiede pochi controlli mirati, che costano un’ora di demo. Se conosci già la categoria di prodotto che ti serve e vuoi farla costruire sul tuo processo, il nostro lavoro di sviluppo AI parte dalla stessa logica: definire cosa deve scrivere il sistema, quando deve fermarsi e come lo verificherai.
Un vero agente si può dimostrare in sala, perché modifica qualcosa in un sistema che puoi aprire. I cinque test qui sotto sono pensati per essere eseguiti dal vivo, da te, senza l’aiuto del fornitore.
Nota sul perimetro: la definizione di agente rispetto a chatbot è trattata in agenti AI vs chatbot. Questo articolo parte da quella definizione e si concentra su cosa fare durante la demo.
Cosa significa agent washing e cosa ha detto davvero Gartner
Gartner usa il termine per i fornitori che ribattezzano come agentici prodotti già esistenti. Secondo il resoconto di Reuters sul comunicato di Gartner, tra i prodotti ribattezzati ci sono assistenti AI e chatbot, e Gartner stima che solo circa 130 dei migliaia di fornitori di AI agentica siano reali. Il resoconto di Reuters non descrive i criteri né il campione dietro quel 130, quindi leggilo come un giudizio di analisti. Indica una direzione, ma non puoi pianificare su di esso come se fosse una percentuale.
Il comunicato stampa di Gartner contiene un secondo numero, spesso citato in modo scorretto. Gartner prevede che oltre il 40 percento dei progetti di AI agentica verrà cancellato entro la fine del 2027. È una previsione, senza un tasso di cancellazione misurato alle spalle, e non dice nulla sul 2026. Reuters riporta come motivi dichiarati l’aumento dei costi e un valore di business poco chiaro.
Per chi acquista, la lettura pratica è semplice. Costi e valore sono le due cose che puoi mettere alla prova prima di impegnare denaro, e i test seguenti puntano proprio lì.
Un’autorità di vigilanza si è già occupata di dichiarazioni di questo tipo
Nel gennaio 2025 la SEC ha emesso un provvedimento contro Presto Automation. Secondo la SEC, Presto aveva affermato falsamente che il suo prodotto AI eliminava la necessità di operatori umani per la presa degli ordini ai drive-thru, mentre la grande maggioranza degli ordini passati con quella versione del prodotto richiedeva un intervento umano. Presto ha accettato un ordine di cessazione senza sanzione civile pecuniaria.
Il caso è utile per un motivo. Una demo può sembrare autonoma mentre una persona svolge parte del lavoro fuori dallo schermo, e solo le prove dall’interno del sistema lo rivelano. I test 1 e 5 servono per questa situazione.
Test 1: fagli scrivere in un sistema che puoi aprire
Scegli un record in un sistema di tua proprietà: un contatto del CRM, un ordine d’acquisto, un ticket. Chiedi al fornitore di far modificare il record all’agente, dal vivo, con le tue credenziali o su una copia sandbox del tuo sistema. Poi apri tu stesso il sistema, sul tuo schermo, e guarda lo stato prima e dopo.
Una trascrizione che dice «fatto» non dimostra nulla. Un campo modificato con un timestamp e un ID utente dimostra che l’azione è avvenuta.
A cosa fare attenzione:
- Il percorso di scrittura. Quale API o connettore ha chiamato l’agente? Un vero agente ha definizioni degli strumenti che sa nominare, con input e output documentati. La guida pratica di OpenAI alla costruzione di agenti elenca tra i tipi di strumento fondamentali gli strumenti di azione, come l’aggiornamento di un record CRM, e valuta il rischio di uno strumento in base al fatto che sia di sola lettura o di scrittura e che sia reversibile o meno.
- Script fissi travestiti. Se la scrittura avviene sempre nello stesso modo, senza variazioni quando cambi l’input, potresti avere davanti un RPA con un modello linguistico davanti. Può essere un ottimo prodotto, ma non è un agente.
- Reversibilità. Chiedi cosa succede se la scrittura è sbagliata. Un fornitore che ha ragionato sul rischio degli strumenti ti dirà quali azioni sono reversibili e quali richiedono un’approvazione.
Anche Building effective agents di Anthropic sostiene lo stesso punto dal lato di chi costruisce: l’impegno va messo nell’interfaccia tra agente e strumenti, con documentazione e test accurati. Se il fornitore non sa mostrarti quella documentazione, il livello degli strumenti potrebbe non esistere.
Test 2: cambia la richiesta a metà
Le demo a turno singolo sono le più facili da provare e riprovare. Il lavoro reale non arriva così. Un cliente corregge un indirizzo, un responsabile cambia il limite di approvazione, una fattura risulta appartenere a un’altra entità.
Durante la demo, avvia un compito e poi cambia un dettaglio dopo il secondo turno. Togli un input obbligatorio e osserva se l’agente lo chiede o se lo inventa. Contraddici un’istruzione precedente e guarda quale delle due prevale.
La ricerca spiega perché conta. Il benchmark CRMArena-Pro di Salesforce AI Research ha riportato circa il 58 percento di successo a turno singolo per gli agenti migliori, in calo a circa il 35 percento nelle situazioni multi-turno. Valgono due avvertenze. Il benchmark è stato costruito da un fornitore che vende agenti, e i modelli testati risalgono al 2025, quindi i sistemi attuali potrebbero andare meglio. Usa il risultato come motivo per eseguire il test, senza trattarlo come una classifica.
Un buon segno è un fornitore che mostra un errore proprio qui e spiega come l’agente si riprende. Un segno peggiore è uno script di demo che non esce mai dal primo turno.
Test 3: chiedi cosa lo fa fermare
Un agente che non sa fermarsi è una responsabilità. Chiedi al fornitore di mostrare cosa succede quando qualcosa va storto, e chiedilo dal vivo.
Tre cose da richiedere:
- Una soglia di errore. L’agente ritenta una chiamata allo strumento che fallisce, poi si ferma dopo un numero stabilito di tentativi e restituisce il controllo con lo stato salvato.
- Un innesco per le azioni ad alto rischio. La guida di OpenAI cita come azioni da far passare a una persona, ad esempio, l’annullamento di ordini, l’autorizzazione di rimborsi elevati e l’esecuzione di pagamenti.
- Una condizione di arresto. Anthropic descrive agenti che si fermano per chiedere un riscontro umano a punti di controllo o quando incontrano ostacoli, e che usano condizioni di arresto come un numero massimo di iterazioni.
Poi fai la domanda scomoda: chi viene avvisato, con quale canale e in quanto tempo? Un arresto che manda un’e-mail a una casella che nessuno legge equivale a nessun arresto.
Un chatbot ribattezzato risponde in modo diverso. Fallisce in silenzio oppure restituisce un cortese messaggio generico («Non sono riuscito ad aiutarti»), perché nel prodotto nulla è stato costruito per passare un compito a una persona insieme al suo contesto.
Test 4: chiedi esecuzioni ripetute sui tuoi compiti
Una buona esecuzione dimostra poco. I sistemi basati su modelli linguistici variano da un’esecuzione all’altra, ed è nella variazione che nascono i problemi in produzione.
Il paper di tau-bench di Sierra offre l’inquadramento più chiaro. Valuta un agente confrontando lo stato finale del database con lo stato obiettivo e riporta il pass^k: la probabilità che l’agente risolva correttamente lo stesso compito in tutti i k tentativi ripetuti. Gli autori hanno riportato che gli agenti con function calling riuscivano in meno del 50 percento dei compiti ed erano piuttosto incoerenti, con un pass^8 inferiore al 25 percento nel dominio retail per il miglior modello testato, gpt-4o. Era un modello del 2024, quindi i numeri illustrano il metodo e non le prestazioni di oggi.
Trasformalo in una richiesta:
- Chiedi il set di valutazione del fornitore, quanti compiti contiene e come vengono assegnati i punteggi.
- Dagli da cinque a dieci compiti tratti dalla tua operatività e chiedi i risultati su esecuzioni ripetute, con il tasso di successo per ogni tentativo.
- Chiedi cosa è cambiato tra le due ultime versioni del modello e se le valutazioni sono state rieseguite.
La guida di OpenAI consiglia di impostare delle valutazioni per stabilire una baseline di prestazioni prima di scalare. Un fornitore senza un set di valutazione ti chiede di fare tu da suite di test. Si può accettare, ma allora prezzo e contratto devono tenerne conto.
Test 5: chiedi la traccia di ogni esecuzione
Un log di conversazione mostra cosa è stato detto. Una traccia mostra cosa è stato fatto. Per ogni esecuzione ti servono lo strumento chiamato, l’input ricevuto, l’output restituito, il timestamp, il passaggio di ragionamento che ha portato alla chiamata e, per ogni azione ad alto rischio, chi l’ha approvata.
Chiedi di vedere la traccia di un’esecuzione andata male. I fornitori che hanno gestito agenti in produzione ne hanno a disposizione, perché fare debug senza è andare a tentoni.
Una nota sulla normativa, volutamente circoscritta. L’AI Act dell’UE richiede la registrazione automatica degli eventi per i sistemi di AI ad alto rischio, all’articolo 12. Quest’obbligo non si estende a ogni agente, quindi non lasciare che un fornitore lo presenti come un obbligo di legge universale. Il tuo motivo per pretendere le tracce è operativo: senza, nessuno può dirti perché un record è cambiato, e il provvedimento della SEC su Presto mostra cosa può nascondersi dietro una dichiarazione di prodotto sicura di sé.
La tabella per il giorno della demo
Stampala e portala all’incontro. La colonna di destra descrive lo schema, e un singolo prodotto può combinarne più d’uno.
| Test | Un vero agente mostra | Un chatbot ribattezzato, uno strumento RPA o un assistente mostra |
|---|---|---|
| 1. Scritture | Un record modificato nel tuo sistema, con stato prima e dopo, una chiamata a uno strumento indicato per nome e un percorso di annullamento | Un messaggio in chat che dice «fatto», oppure uno script fisso che scrive sempre allo stesso modo |
| 2. Più turni | Chiede gli input mancanti, mantiene lo stato, si adatta quando la richiesta cambia | Gestisce il primo turno, poi si perde, si ripete o inventa un valore |
| 3. Arresti | Soglie e inneschi di rischio definiti, un passaggio di consegne con stato e un destinatario indicato | Un messaggio generico di ripiego, o un errore silenzioso |
| 4. Esecuzioni ripetute | Un set di valutazione, tassi di successo su più tentativi e risultati sui tuoi compiti | Un’unica esecuzione di vetrina ben curata e una cifra di accuratezza da titolo |
| 5. Tracce | Log per ogni esecuzione con strumento, input, output, timestamp e approvatore | Una trascrizione della conversazione |
Questi cinque test sono una sintesi costruita a partire dalle indicazioni pubblicate dai fornitori e dai metodi dei benchmark. Nessun ente di normazione li ha emessi come checklist, quindi trattali come un filtro pratico e aggiungi le tue domande.
Quando un workflow deterministico è l’acquisto giusto
Alcune demo dovrebbero concludersi con il fornitore che dice: per questo non ti serve un agente.
Anthropic distingue i workflow, che orchestrano modelli e strumenti tramite percorsi di codice predefiniti, dagli agenti, e raccomanda di cercare la soluzione più semplice possibile aggiungendo complessità solo quando serve. La guida di OpenAI afferma che le applicazioni che usano un modello senza lasciargli controllare l’esecuzione del workflow, come i semplici chatbot e i classificatori di sentiment, non sono agenti. Consiglia inoltre di verificare il caso d’uso rispetto ai suoi criteri prima di impegnarsi, perché una soluzione deterministica può bastare.
Entrambe le organizzazioni vendono agenti. Per questo il loro consiglio di comprare meno quando basta meno ha un peso particolare.
Prendi un processo con una sequenza stabile: arriva una fattura, i campi vengono estratti, gli importi vengono confrontati con l’ordine d’acquisto, un’eccezione va a una persona. Se i rami sono noti in anticipo, un workflow con una sola chiamata al modello per l’estrazione è più prevedibile e costa meno da gestire. Chiamarlo agente non aggiunge nulla.
Se il tuo processo ha passaggi aperti, input variabili e decisioni che dipendono dal contesto, un agente comincia a valere il suo costo. Per la domanda successiva su sviluppare o acquistare, vedi build vs buy per gli agenti AI.
Inserire i test in un contratto pilota svizzero
Eseguire i test una volta in una demo è un inizio. Scriverli nell’accordo del pilota è ciò che protegge il budget.
- Criteri di accettazione. Trasforma ogni test in un criterio misurabile. Per esempio: l’agente scrive in un sistema di riferimento indicato per nome, in una sandbox, con uno stato prima e dopo verificabile, e supera una quota concordata dei tuoi compiti su esecuzioni ripetute. La soglia la fissi tu, in base a ciò che il processo manuale offre oggi.
- Consegna dei log. Specifica i campi della traccia (strumento, input, output, timestamp, approvatore) e il periodo di conservazione. Indica a chi appartengono i log.
- Comportamento di arresto. Elenca le azioni che devono passare a una persona e indica il ruolo del destinatario.
- Diritto di uscita. Concorda di poter chiudere il pilota a una data definita, senza ulteriori costi, se i criteri non sono soddisfatti. Gli importi vanno indicati in CHF, con un tetto alla spesa del pilota.
- Cambi di modello. Pretendi un preavviso prima che il fornitore sostituisca il modello sottostante, e una nuova esecuzione delle valutazioni dopo la sostituzione.
Data la previsione di Gartner sulle cancellazioni, la clausola di uscita è il meccanismo che trasforma un valore di business poco chiaro in una decisione che puoi prendere sulla base di prove.
Se il pilota è superato, hai un prodotto che si è meritato la sua etichetta. Se fallisce, hai pagato un’ora di demo e un breve periodo di prova invece di una licenza annuale.
Un ultimo controllo prima di firmare
Rileggi gli appunti della demo. Il fornitore ti ha lasciato aprire il sistema di destinazione? Ha mostrato un errore con onestà? Si è offerto di eseguire i tuoi compiti e ti ha mai detto che una soluzione più semplice potrebbe bastare?
I fornitori che rispondono sì a tutte e quattro le domande hanno probabilmente costruito qualcosa. Chi aggira le domande vende un’etichetta.
Domande frequenti
Che cos'è l'agent washing?
L'agent washing consiste nel ribattezzare prodotti esistenti, come chatbot, assistenti AI e robotic process automation, come AI agentica senza che abbiano capacità agentiche sostanziali. Il termine è usato da Gartner. Un vero agente usa strumenti, scrive nei tuoi sistemi e decide il passo successivo, mentre un prodotto ribattezzato si limita a conversare o a seguire uno script fisso con un nuovo nome.
Come capisco in una demo se l'agente AI di un fornitore è reale?
Chiedi al fornitore di eseguire un compito dal vivo, poi apri tu stesso il sistema di destinazione. Un vero agente lascia un record modificato, un messaggio inviato o un ticket aperto che vedi fuori dalla finestra di chat. Poi cambia la richiesta a metà conversazione, forza un arresto e chiedi il log di ogni esecuzione. Un chatbot ribattezzato di solito ha da mostrare solo una trascrizione.
La cifra di Gartner sui 130 fornitori agentici reali è affidabile?
Considerala una stima di analisti. Secondo Reuters, Gartner ha dichiarato che solo circa 130 dei migliaia di fornitori di AI agentica sono reali, ma l'articolo non descrive i criteri né il campione alla base del conteggio. Il numero è un avvertimento utile sull'hype del mercato e non un censimento verificato, quindi metti alla prova ogni prodotto in base al suo comportamento.
Un semplice workflow è un acquisto peggiore di un agente?
No. Sia OpenAI sia Anthropic affermano che un workflow deterministico può essere la risposta migliore quando il compito è ben definito. Anthropic osserva che i workflow offrono prevedibilità e coerenza per i compiti ben definiti, mentre gli agenti scambiano latenza e costi con flessibilità. Un fornitore che ti dice che il tuo caso d'uso richiede un workflow e non un agente ti sta dando un consiglio onesto.
Cosa deve inserire un''azienda svizzera nel contratto di un pilota con un agente AI?
Scrivi i test della demo nel contratto come criteri di accettazione, con soglie di superamento misurate sui tuoi compiti, e concorda quali log il fornitore deve consegnare. Mantieni il diritto di uscire alla fine del pilota senza penali e senza ulteriori costi. Così il tuo budget è protetto se il prodotto si rivela un chatbot ribattezzato.