Capitolo 1 — Cos'è davvero un LLM

Dispensa del Livello 0 — Alfabetizzazione · aggiornata il 13 luglio 2026 · Lettura: 4 min

Partiamo dalla domanda che quasi nessuno fa: quando scrivi qualcosa a ChatGPT o a Claude, cosa succede davvero dall'altra parte?

L'istinto suggerisce risposte sbagliate. Non c'è un enorme archivio di risposte pronte in cui il sistema cerca quella giusta. Non c'è un programmatore che ha previsto la tua domanda e scritto la risposta. Non c'è nemmeno, in senso stretto, qualcosa che "capisce" la tua domanda come la capirebbe un amico. C'è invece una macchina che fa una cosa sola, e la fa miliardi di volte: prevedere il prossimo pezzetto di testo.

Hai presente quando il telefono ti suggerisce la parola successiva mentre scrivi un messaggio? Il principio è quello. La differenza è la scala: dove il suggeritore del telefono guarda le ultime due o tre parole e conosce qualche migliaio di frasi comuni, un Large Language Model ha "letto" durante il suo addestramento una porzione gigantesca di tutto il testo disponibile su internet — libri, articoli, forum, codice, enciclopedie — e quando prevede la prossima parola tiene conto di tutto quello che è stato scritto prima nella conversazione. Non delle ultime tre parole: di tutto.

Ora, un dettaglio che sembra tecnico ma spiega moltissime cose: il modello non lavora con le parole, lavora con i token. Un token è un frammento di testo — a volte una parola intera, a volte un pezzo di parola, a volte un segno di punteggiatura. "Ciao" può essere un token unico; "straordinariamente" magari viene spezzato in tre o quattro pezzi. In inglese un token corrisponde in media a tre quarti di parola; in italiano il rapporto è meno favorevole, perché i modelli sono addestrati soprattutto su testo inglese e quindi "conoscono meglio" i pezzi dell'inglese. Ecco perché la stessa frase costa più token in italiano che in inglese — e visto che i servizi AI si pagano a token, questa curiosità linguistica ha conseguenze economiche concrete.

Quando il modello genera una risposta, il meccanismo è un ciclo: guarda tutto il testo che c'è finora, calcola per ognuno dei suoi circa centomila token possibili la probabilità che sia il prossimo, ne sceglie uno, lo aggiunge al testo, e ricomincia. Una risposta di trecento parole è il risultato di centinaia di queste previsioni in fila. Sembra impossibile che da un meccanismo così cieco esca un testo sensato, argomentato, a volte brillante — eppure è così, ed è la scoperta che ha sorpreso gli stessi ricercatori: quando la macchina per prevedere il testo diventa abbastanza grande e legge abbastanza roba, per prevedere bene deve sviluppare qualcosa che assomiglia a una comprensione della grammatica, dei fatti, della logica, perfino dello stile.

C'è un secondo concetto da fissare bene: la finestra di contesto. È la quantità massima di token che il modello può considerare in una volta — la sua memoria di lavoro. Tutto quello che il modello "vede" quando genera la risposta deve stare lì dentro: la tua domanda, i documenti che hai allegato, la conversazione fatta finora, le istruzioni di sistema. Le finestre moderne sono grandi (centinaia di migliaia di token, interi libri), ma non infinite. E soprattutto: quello che esce dalla finestra smette di esistere per il modello. Se in una conversazione lunghissima l'inizio viene tagliato via, il modello non "ricorda vagamente" cosa vi eravate detti — semplicemente per lui quella parte non è mai avvenuta. Quando un assistente sembra dimenticarsi le tue istruzioni dopo un'ora di chat, ora sai il perché.

Terzo e ultimo concetto del capitolo: il non-determinismo. Se fai la stessa identica domanda due volte, puoi ricevere risposte diverse. Non è un difetto: quando il modello sceglie il prossimo token, non prende sempre il più probabile in assoluto — pesca tra i più probabili con un pizzico di casualità (regolata da un parametro chiamato temperatura). Senza questa casualità, il testo risulterebbe ripetitivo e meccanico. Con essa, ogni risposta è una delle tante possibili. La conseguenza pratica per te: se una risposta non ti convince, rigenerarla o riformulare la domanda non è "barare" — è usare il sistema per quello che è, una macchina probabilistica.

Ricapitolando l'essenziale: un LLM è una macchina che prevede il prossimo token, con una memoria di lavoro limitata alla finestra di contesto e una punta di casualità voluta. Ogni cosa sorprendente — nel bene e nel male — che vedrai nei prossimi capitoli discende da queste tre proprietà.

L'esperimento del giorno. Vai su tiktokenizer.vercel.app, incolla una frase in italiano e la sua traduzione inglese, e guarda come vengono spezzate in token: conterai più token per l'italiano. Poi fai a un assistente AI la stessa domanda tre volte di fila e osserva le variazioni tra le risposte. Hai appena visto con i tuoi occhi tokenizzazione e non-determinismo.

Fonti