Capitolo 1 — Evals: misurare invece di percepire
Benvenuto nel livello dove si smette di dire "mi sembra che funzioni". La frase che separa l'hobbista dal professionista è una sola: se non lo misuri, non lo sai. Hai cambiato il prompt e "adesso va meglio"? Meglio su cosa? Su quali casi? Di quanto? Senza misura, ogni modifica al tuo sistema è un salto nel buio — magari hai migliorato i tre casi che avevi sotto gli occhi e peggiorato i trenta che non stavi guardando.
Un eval è la risposta: un set di casi di test con l'esito atteso, più un modo di calcolare il punteggio. Tre approcci, in ordine di preferenza. Le verifiche esatte (code-based): quando l'output è strutturato, il controllo è meccanico — il JSON è valido? la categoria è quella giusta? la data estratta è corretta? Oggettive, veloci, gratuite: quando puoi, usa queste. Le rubriche con LLM-as-judge: quando l'output è testo libero (un riassunto, una email), un altro modello lo valuta contro criteri espliciti — fedele alla fonte? completo? nel tono giusto? Funziona, con un'avvertenza da adulti: il giudice è a sua volta un modello fallibile, quindi si verifica a campione contro il giudizio umano, prima di fidarsi dei suoi voti. E i test di regressione: ogni errore trovato in produzione entra nel set di test, per sempre — così i bug risolti restano risolti, invece di riaffiorare alla prossima modifica.
Il flusso di lavoro diventa: costruisci il set (venti-cinquanta casi bastano per iniziare, e dentro ci vanno i casi difficili — gli ambigui, i cattivi, quelli veri), misuri la baseline, e da lì ogni modifica — prompt, modello, pipeline — si valuta col punteggio, non a sensazione. Riconosci l'idea? È la valutazione a tre anelli del RAG (Livello 3), promossa a disciplina universale.
L'esperimento del giorno. Costruisci un eval di venti casi per il tuo progetto del Livello 2 o 3, con almeno cinque casi cattivi. Misura la baseline. Poi cambia qualcosa che "sicuramente migliora" e rimisura. Preparati alla possibilità più istruttiva del percorso: che il punteggio scenda.