Capitolo 4 — I quattro limiti che non devi dimenticare mai
Questo capitolo è una specie di libretto di istruzioni negativo: le quattro cose che un LLM non fa, non sa o non può, e che devi tenere a mente ogni volta che gli affidi qualcosa che conta. Non per sfiducia — per usarlo da professionista.
Primo limite: la conoscenza ha una data di scadenza. L'addestramento di un modello finisce in un momento preciso, la data di taglio (knowledge cutoff). Tutto ciò che è accaduto dopo — notizie, versioni nuove di software, prezzi, leggi, persone che hanno cambiato lavoro — per il modello semplicemente non esiste. Il problema pratico non è l'ignoranza in sé: è che, come sai dal capitolo 2, il modello non ti dice "non lo so, la mia conoscenza si ferma prima". Risponde comunque, magari con informazioni vecchie di un anno presentate come attuali. Le contromisure le conosci già: ricerca web attiva per tutto ciò che è attuale, e l'abitudine di chiederti sempre "questa informazione può essere cambiata di recente?".
Secondo limite: la dipendenza dal prompt. La stessa richiesta, formulata in due modi diversi, può produrre risultati di qualità drasticamente diversa. Chiedere "parlami del marketing" e chiedere "sono il titolare di una piccola web agency italiana, scrivimi tre idee concrete per trovare clienti nel settore immobiliare, budget zero" attiva lo stesso modello con esiti incomparabili. Questo è frustrante all'inizio — "ma allora devo imparare a parlargli!" — e la risposta è sì, esattamente. La buona notizia è che non è un talento misterioso: è un mestiere con regole precise, e imparerai queste regole al Livello 1. Per ora ti basta il principio: quando l'output ti delude, prima di dare la colpa al modello chiediti cosa non gli hai detto. Il modello non conosce il tuo contesto, il tuo obiettivo, il tuo pubblico: sa solo quello che gli scrivi.
Terzo limite: l'intelligenza frastagliata. In inglese la chiamano jagged intelligence, ed è forse il concetto più controintuitivo di tutto il livello. Con le persone, le capacità sono più o meno coerenti: chi sa fare analisi complesse sa anche contare. Con i modelli no. Lo stesso sistema che ti scrive un'analisi giuridica dignitosa può sbagliare a contare le lettere di una parola o a confrontare due numeri decimali. In parte è colpa della tokenizzazione (il modello non vede le lettere: vede token, e "ramarro" per lui è un blocco o due, non sette lettere), in parte è la natura statistica del sistema. La lezione pratica è profonda: non puoi dedurre per analogia cosa il modello sa fare. "Se sa fare X che è difficile, saprà fare Y che è facile" è un ragionamento che con l'AI non funziona. Ogni tipo di compito va testato per conto suo, sui tuoi casi reali, prima di fidarti.
Quarto limite: nessuna esperienza del mondo. Il modello ha letto descrizioni di tutto, ma non ha mai visto, toccato, pesato niente. La sua conoscenza del mondo fisico è di seconda mano, ricostruita dal testo. Per la maggior parte dei compiti d'ufficio non importa; diventa rilevante quando chiedi giudizi che richiedono esperienza diretta — quanto spazio serve, quanto tempo ci vuole davvero, cosa può andare storto in una situazione concreta. Lì il modello produce la risposta tipica dei testi che ha letto, che può essere lontana dalla tua realtà specifica.
C'è un filo che lega i quattro limiti, e vale la pena dirlo esplicitamente: nessuno dei quattro si vede dall'output. La risposta datata, quella nata da un prompt povero, l'errore frastagliato e il giudizio senza esperienza arrivano tutti nella stessa confezione: prosa fluida, tono sicuro, struttura ordinata. Per questo la competenza AI di base — quella che stai costruendo in queste settimane — non è saper premere i bottoni: è sapere quando fidarsi. E c'è anche una consolazione: conoscere i limiti in anticipo li rende gestibili. Data di taglio? Ricerca web. Prompt povero? Livello 1. Frastagliatura? Test sui tuoi casi. Mancanza di esperienza? L'esperienza ce la metti tu. Nessuno dei quattro è una ragione per non usare l'AI: sono le regole d'ingaggio.
L'esperimento del giorno. Doppio, veloce. Primo: chiedi "quante R ci sono in 'ramarro'?" secco, e poi di nuovo aggiungendo "ragiona lettera per lettera prima di rispondere" — spesso il risultato cambia, e nel perché c'è mezzo Livello 1 (i modelli hanno bisogno di token per pensare). Secondo: chiedi "qual è più grande tra 9.11 e 9.9?" — un classico della frastagliatura. Se il tuo modello li azzecca entrambi, ottimo: hai comunque visto quanto è sottile il confine, e la prossima versione potrebbe sbagliare dove questa azzecca.
Fonti
- AI Capabilities and Limitations — Anthropic Academy — i limiti strutturali dei modelli spiegati con esempi: data di taglio, dipendenza dal prompt, intelligenza frastagliata.
- Elements of AI — Univ. Helsinki — perché un sistema statistico non "capisce" il mondo come una persona, e cosa ne consegue.