In breve: per verificare davvero il lavoro di un’IA non basta chiederle se ha finito o se il risultato “va bene”. Serve un riferimento, esplicito o implicito, con cui confrontare ciò che ha prodotto. Una bambina di cinque anni e mezzo, dipingendo una coccinella su un sasso, ha formulato la domanda perfetta: «Manca qualcosa?»
Mia figlia stava dipingendo dei sassi.
Uno lo aveva trasformato in una coccinella: rosso, nero, la forma già riconoscibile. A un certo punto si è fermata, lo ha guardato e mi ha chiesto:
«Manca qualcosa a questa coccinella?»
Le ho risposto normalmente. Ma nella mia testa è partita un’altra conversazione.
Quella domanda mi è sembrata improvvisamente potentissima.
Non aveva chiesto: «È bella?». Non aveva chiesto: «Va bene?». E neppure: «Ho finito?».
Aveva fatto qualcosa di più preciso: aveva preso un oggetto che conosceva — una coccinella — e lo stava usando come termine di paragone per controllare il proprio lavoro.
In pratica: questa cosa che ho fatto contiene tutto ciò che dovrebbe contenere?
Per accorgerti che manca qualcosa, devi sapere cosa dovrebbe esserci
È qui che la domanda diventa interessante anche per l’intelligenza artificiale.
Quando chiediamo a un’IA di produrre qualcosa — del codice, un testo, un’analisi, una ricerca, una presentazione — spesso la verifica più pigra consiste in una seconda domanda:
«Controlla il tuo lavoro.»
Ma controllarlo rispetto a cosa?
Se non esiste un’immagine attesa del risultato, anche una verifica molto sofisticata rischia di diventare semplicemente un’altra generazione di testo.
La coccinella, invece, ha un vantaggio enorme: sappiamo già più o meno che cosa deve esserci. Corpo, colore, puntini, testa, antenne, zampe. Non serve che ogni dettaglio sia identico a una fotografia, ma esiste comunque un modello mentale abbastanza stabile da permetterci di vedere una mancanza.
La verifica comincia quando esiste una differenza osservabile tra ciò che c’è e ciò che dovrebbe esserci.
“È fatto bene?” è una domanda peggiore di “cosa manca?”
Questo vale anche per gli agenti AI.
Le guide moderne sulle evals — i sistemi con cui si misura il comportamento dei modelli — insistono proprio su questo punto: una valutazione utile non dovrebbe limitarsi a un’impressione generale del tipo «sembra funzionare».
OpenAI, nella documentazione sulle evaluation, raccomanda di definire criteri di successo espliciti e di evitare le valutazioni puramente intuitive. Anthropic descrive un’evaluation, in sostanza, come un compito assegnato al sistema più una logica capace di stabilire se il risultato soddisfa davvero le aspettative.
Fonti: OpenAI — Evaluation best practices e Anthropic — Demystifying evals for AI agents.
La differenza è enorme.
- «È una buona landing page?» è vago.
- «Contiene una call to action chiara, un titolo coerente con il brief e tutti i campi richiesti?» è verificabile.
- «Il codice sembra corretto?» è vago.
- «Passano tutti i test previsti? Ci sono casi richiesti che non sono coperti?» è verificabile.
- «Hai fatto la ricerca?» è vago.
- «Hai risposto a tutte le domande del brief e citato le fonti richieste?» è verificabile.
In tutti questi casi la domanda decisiva è sempre la stessa, anche se cambia forma:
Che cosa manca rispetto a quello che avevamo chiesto?
Creare e verificare non sono lo stesso lavoro
C’è poi un altro aspetto interessante.
Creare una soluzione e controllare se una soluzione rispetta certi vincoli sono due compiti diversi.
Una rassegna della ricerca sulla self-correction degli LLM osserva che la correzione funziona molto meglio quando il problema di verifica è più semplice del problema originale, oppure quando il modello può appoggiarsi a feedback, strumenti o riferimenti esterni affidabili. Fonte: A Survey on Self-Correction in Large Language Models.
È intuitivo anche senza paper.
Scrivere da zero una funzione corretta può essere difficile. Eseguire una suite di test è più semplice. Progettare una pagina efficace può richiedere molte decisioni. Controllare se manca il pulsante principale è banale. Dipingere una coccinella richiede creatività e coordinazione. Accorgersi che mancano le antenne richiede soprattutto un confronto.
Questa asimmetria è preziosa perché suggerisce un modo migliore di costruire i sistemi AI: non chiedere necessariamente allo stesso processo di inventare e giudicare nello stesso modo.
Il generatore e il verificatore
Negli agenti più evoluti questa separazione sta diventando concreta.
Anthropic, raccontando il lavoro sugli agenti che costruiscono applicazioni, descrive il vantaggio di separare chi produce da chi valuta: un agente può costruire il risultato, mentre un altro processo lo esamina con criteri più scettici e specifici. Google DeepMind usa una logica affine in AlphaEvolve: i modelli propongono soluzioni e valutatori automatici stabiliscono quali siano effettivamente migliori.
Fonti: Anthropic — Harness design for long-running apps e Google DeepMind — AlphaEvolve.
È una specie di principio del doppio sguardo.
Il primo guarda il mondo chiedendosi: «come posso costruirlo?».
Il secondo guarda ciò che è stato costruito e domanda: «rispetto a quello che volevamo, cosa manca?».
Perché “controllati da solo” spesso non basta?
Qui arriva una conseguenza meno rassicurante.
Dire semplicemente a un modello «rileggi e correggi eventuali errori» non garantisce affatto che li trovi. Se il modello non conosce il fatto corretto, non possiede il criterio giusto o ha commesso proprio l’errore che gli impedisce di riconoscere l’errore, può confermare tranquillamente la propria risposta.
È per questo che i sistemi di verifica più robusti cercano di portare qualcosa dall’esterno: test, specifiche, database, regole, esempi, strumenti, un secondo modello, oppure un ambiente nel quale sia possibile osservare il risultato reale.
Anthropic fa un esempio molto semplice nel lavoro sulle eval degli agenti: non basta che un agente dichiari di aver completato un’azione. Se il compito era modificare uno stato esterno, la verifica migliore è controllare quello stato esterno.
Se dice «ho effettuato la prenotazione», non valuti la frase. Cerchi la prenotazione.
Se dice «ho corretto il bug», non valuti la sicurezza con cui lo afferma. Esegui il test.
Se dice «la coccinella è finita», la guardi.
Dal prompt al loop: manca un passaggio
Qualche tempo fa avevo scritto di passare dal prompt al loop: dare all’agente un obiettivo, lasciarlo lavorare e definire una condizione che permetta di capire quando il compito è davvero concluso.
La coccinella aggiunge una domanda fondamentale a quel ragionamento.
Come facciamo a sapere che la condizione di “finito” è stata raggiunta?
Serve una rappresentazione del risultato atteso abbastanza precisa da consentire un confronto.
- Obiettivo: cosa devo ottenere?
- Risultato: cosa ho effettivamente prodotto?
- Confronto: dove differiscono?
- Gap: cosa manca?
- Correzione: cosa devo cambiare?
Questo è già un loop di lavoro completo.
Forse la domanda migliore non è “hai finito?”
Più uso questi strumenti, più mi sembra che una parte importante del futuro dell’AI non riguarderà soltanto la capacità di produrre risposte migliori.
Riguarderà la capacità di costruire buoni modi per accorgersi che una risposta non basta ancora.
Perché l’autonomia senza verifica è soltanto la possibilità di sbagliare più a lungo.
E forse, quando progettiamo un agente, prima ancora di chiederci quale prompt usare, quale modello scegliere o quanti strumenti collegargli, dovremmo provare a formulare una domanda molto più semplice:
Quando guarderemo il suo lavoro, saremo in grado di capire che cosa manca?
Mia figlia non stava facendo una valutazione di sistemi AI.
Stava solo dipingendo un sasso.
Ma a volte le domande migliori funzionano proprio così: sembrano piccole finché non provi ad applicarle a qualcosa di grande.