Capitolo 2 — Le allucinazioni: perché la macchina inventa
C'è un momento, nell'esperienza di chiunque usi l'AI, in cui la magia si incrina. Chiedi una cosa specifica — una legge, un articolo scientifico, la biografia di una persona — e ricevi una risposta dettagliata, precisa, sicura. E completamente inventata. La legge non esiste, l'articolo non è mai stato scritto, la persona non ha mai lavorato dove dice il modello. Benvenuto nelle allucinazioni, il fenomeno più importante da capire per usare l'AI da adulti.
La prima cosa da capire è che l'allucinazione non è un guasto. È una conseguenza diretta e inevitabile di come funziona la macchina che hai conosciuto nel capitolo 1. Ripensaci: il modello è addestrato a produrre la continuazione più plausibile del testo. Plausibile, non vera. Durante l'addestramento nessuno gli ha insegnato la differenza tra "so questa cosa" e "non la so": gli è stato insegnato a completare il testo nel modo più convincente possibile. Quando la risposta vera è ben rappresentata nei dati di addestramento — chi ha scritto la Divina Commedia, quanto fa 7 per 8 — la continuazione più plausibile coincide con la verità. Ma quando la risposta vera non c'è, o è rara, o è oscura, la macchina fa esattamente quello per cui è costruita: genera qualcosa che suona giusto. Con lo stesso tono sicuro, la stessa grammatica impeccabile, la stessa struttura ordinata di quando sa davvero.
Ed è questo il punto pericoloso: la qualità della scrittura non dice nulla sulla verità del contenuto. Il nostro cervello è abituato ad associare fluidità e sicurezza espositiva con la competenza — con gli umani funziona abbastanza. Con un LLM questa scorciatoia mentale va disattivata, perché il modello scrive con la stessa eleganza sia quando attinge a conoscenza solida sia quando sta improvvisando nel vuoto.
Vale la pena conoscere le situazioni ad alto rischio, perché sono prevedibili. Prima: i fatti specifici e verificabili — date, numeri, citazioni testuali, riferimenti bibliografici, nomi di sentenze, statistiche. È il terreno dove il modello inventa di più, perché i dettagli precisi sono esattamente il tipo di informazione che la statistica del testo non conserva bene. Seconda: tutto ciò che è successo dopo la data di taglio dell'addestramento — per il modello quel mondo non esiste, ma se glielo chiedi lui una risposta la produce lo stesso. Terza: le cose oscure — persone poco famose, aziende piccole, paesi e temi poco rappresentati nei dati. Quarta, e più subdola: le domande che presuppongono qualcosa di falso. Se chiedi "perché il progetto X di Google è fallito?" e il progetto X non è mai esistito, spesso il modello non ti corregge: asseconda la premessa e costruisce una spiegazione plausibile di un fatto mai avvenuto.
Ora le contromisure, in ordine di efficacia. La più potente in assoluto: dai tu al modello il materiale su cui rispondere. Se alleghi il documento e chiedi "rispondi basandoti su questo", il modello non deve più pescare dalla memoria statistica: deve solo leggere e trasformare, che è il suo punto di forza. Vedrai nei prossimi livelli che mezza ingegneria delle applicazioni AI (il RAG, la ricerca web integrata) è precisamente questo principio industrializzato. Seconda contromisura: attiva la ricerca web quando la domanda riguarda fatti attuali o verificabili — così il modello legge fonti reali invece di improvvisare. Terza: chiedi esplicitamente "se non sei sicuro, dimmelo" e "cita le fonti" — non è una garanzia, ma sposta il comportamento nella direzione giusta. Quarta, sempre valida: i fatti critici si verificano altrove. Se una data, una cifra o una citazione finisce in una email importante, in un contratto, in una decisione — controllala in modo indipendente. Sempre.
Un'ultima riflessione che ti tornerà utile: l'allucinazione è il prezzo della creatività. Lo stesso meccanismo che inventa una sentenza inesistente è quello che ti scrive una poesia originale, propone dieci nomi per il tuo progetto, immagina scenari. Una macchina incapace di produrre cose mai viste sarebbe anche incapace di creare. Il punto non è eliminare questa natura: è sapere quando la stai usando come generatore di idee (dove inventare è il pregio) e quando come fonte di fatti (dove inventare è il difetto), e comportarti di conseguenza.
L'esperimento del giorno. Chiedi a un assistente, senza ricerca web attiva, la biografia dettagliata di una persona che conosci bene ma che non è famosa — un collega con una certa presenza online, un professionista locale. Poi conta: quanti fatti sono giusti, quanti inventati? E nota soprattutto il tono: l'assoluta sicurezza con cui le invenzioni ti vengono servite. Questa esperienza vale più di dieci articoli sulla fiducia da dare all'AI.
Fonti
- AI Capabilities and Limitations — Anthropic Academy — dove i modelli sbagliano e perché: il quadro dei limiti da cui nascono le allucinazioni.
- Deep Dive into LLMs like ChatGPT — Andrej Karpathy — la sezione sulle allucinazioni collega il fenomeno al meccanismo di predizione.