Capitolo 6 — La saggezza del livello: quando il RAG non serve
Chiudiamo con il capitolo che i tutorial non scrivono mai, perché insegna a non usare la tecnologia appena imparata. Il RAG ha un costo: una pipeline da costruire, un database da mantenere, una catena di anelli che possono arrugginire ognuno per conto suo. Prima di pagarlo, chiediti se serve.
Spesso non serve. Se i tuoi documenti stanno nella finestra di contesto — e le finestre moderne tengono centinaia di pagine — mettili direttamente nel prompt e basta. Niente chunking, niente recupero che può sbagliare: il modello vede tutto. "Ma costa, ripagare gli stessi documenti a ogni domanda!" — ed ecco che torna il prompt caching del Livello 2: se il materiale è sempre quello, lo metti in cache e le domande successive lo ripagano una frazione. Contesto lungo più caching è la soluzione più semplice e spesso migliore per corpus piccoli e stabili. C'è anche un caso in cui il contesto lungo vince tecnicamente: quando la domanda richiede di ragionare su tutto il documento — un riassunto globale, un confronto tra capitoli, un filo rosso da seguire. Il RAG per costruzione recupera frammenti; sui compiti "d'insieme" i frammenti non bastano.
Quando invece il RAG vince? Sui numeri grandi: migliaia di documenti che non entreranno mai in nessuna finestra. Sul cambiamento: un corpus che si aggiorna ogni giorno (ri-indicizzi il nuovo, il caching invece scade). Sulle domande puntuali: "qual è la penale nel contratto X" ha bisogno di un frammento preciso, non della vista d'insieme.
La decisione, allora, sta su tre assi: quanto è grande il corpus, quanto cambia, che tipo di domande riceve. E se vuoi capire il RAG dal lato utente prima di costruirne altri, gioca con NotebookLM: carichi documenti, fai domande, ricevi risposte con citazioni — è un RAG confezionato, e riconoscerai ogni pezzo studiato in questo livello.
L'esperimento del giorno. Prendi il TUO caso d'uso reale e scrivi cinque righe di argomentazione: RAG o contesto lungo con caching? Grande/piccolo, stabile/mutevole, domande puntuali/d'insieme. Questa mezza pagina è la lezione più preziosa del livello — e completa il progetto: l'assistente sui tuoi documenti, con citazioni e test documentati.