Capitolo 3 — Chunking: l'arte di spezzare bene
Sembra un dettaglio implementativo e invece decide tutto: come spezzi i documenti determina cosa potrà mai essere trovato. Il chunk è l'unità di recupero — se l'informazione che serve è tagliata a metà tra due chunk, o annegata in un chunk enorme insieme a dieci argomenti diversi, il recupero migliore del mondo non la salverà.
I due modi di sbagliare sono simmetrici. Chunk troppo piccoli: ogni pezzo è così breve che, staccato dal suo contesto, non si capisce più — "la scadenza è il 15 marzo" recuperato da solo non dice scadenza di cosa. Chunk troppo grandi: l'embedding di un testo lungo è una media di tutto ciò che contiene, e una media di dieci argomenti non è vicina a nessuno di essi — il segnale si diluisce; in più, i chunk giganti recuperati sprecano finestra di contesto (e al Livello 2 hai imparato che il contesto è denaro).
Le strategie, in ordine di raffinatezza crescente. La baseline: dimensione fissa con overlap — chunk da 400-600 token, con una sovrapposizione tra consecutivi per non tagliare le frasi a metà. Meglio quasi sempre: il chunking strutturale, che rispetta i confini naturali del documento — sezioni, paragrafi, intestazioni. Un documento ben scritto ha già la sua segmentazione logica: usala. Terzo ingrediente, i metadati: ogni chunk porta con sé titolo del documento, sezione, data — serviranno per filtrare ("solo documenti del 2026") e per citare le fonti al capitolo 5. Quarto, il tocco da professionisti: arricchire ogni chunk con una riga di contesto in testa ("Dal manuale di garanzia, sezione resi") — costa poco e migliora sensibilmente sia l'embedding sia la comprensione del modello.
L'esperimento del giorno. Prendi lo stesso documento e indicizzalo tre volte: chunk da 200, 500 e 1500 token. Fai le stesse cinque domande alle tre versioni e confronta cosa viene recuperato. Vedrai con i tuoi occhi i due fallimenti simmetrici — e capirai perché nessuna dimensione è "giusta" in assoluto: dipende dalla struttura dei tuoi documenti.