Capitolo 6 — Costi: l'economia delle chiamate
Chiudiamo il livello parlando di soldi, perché via API ogni parola ha un prezzo e la differenza tra un progetto sostenibile e uno che brucia il budget sta in poche decisioni.
Il listino funziona così: si paga per milione di token, con l'output più caro dell'input (generare costa più che leggere). I numeri cambiano spesso, ma gli ordini di grandezza contano: tra la taglia piccola e quella grande della stessa famiglia di modelli il prezzo può variare di dieci-venti volte. Ricordi il Livello 0 — ogni token è inference, lavoro di GPU vere? Ecco il conto.
Le leve di risparmio, in ordine di impatto. La prima e più potente: il modello giusto per il compito. Classificare email, estrarre campi, smistare richieste: lavori da modello piccolo, che li fa bene a un ventesimo del prezzo. Il modello grande si riserva ai compiti che lo meritano — ragionamento complesso, scrittura di qualità, decisioni delicate. I sistemi ben progettati usano spesso entrambi: il piccolo fa il grosso del volume, il grande interviene sui casi difficili. Seconda leva: il prompt caching. Se le tue chiamate condividono lo stesso prefisso — il solito system prompt lungo, gli stessi documenti di riferimento — puoi chiedere all'API di tenerlo in cache: le chiamate successive ripagano quella parte una frazione del prezzo. Per applicazioni con contesti grossi e ripetuti, il risparmio è drastico. Terza: contesto snello — ogni token inutile nel prompt (il context rot del Livello 1!) qui si moltiplica per il volume e diventa bolletta. Quarta: la Batch API del capitolo 5 per tutto ciò che può aspettare.
E il logging del capitolo 5 chiude il cerchio: con i token registrati per ogni chiamata, il costo non è una sorpresa a fine mese ma un numero che guardi crescere in tempo reale, per componente, e su cui decidi.
L'esperimento del giorno. Prendi il tuo script del capitolo 3 e fai i conti da ingegnere: mille richieste al giorno per un mese, tre scenari — modello grande, modello piccolo, modello piccolo più caching. Scrivi le tre cifre una accanto all'altra. Poi completa il progetto del livello: la pipeline che prende un tuo input reale e produce output strutturato, con validazione, robustezza e log dei costi. Da lì in poi, sei ufficialmente uno che costruisce.