Capitolo 4 — Osservabilità: log, tracing e il contatore dei costi
C'è una legge non scritta dei sistemi in produzione: un'automazione senza osservabilità è un guasto che aspetta di essere scoperto dagli utenti. E scoprirlo dagli utenti — il collega che ti dice "guarda che il riassunto di ieri era sbagliato" — è il modo più costoso che esista.
L'osservabilità si costruisce a strati. Il primo lo conosci dal Livello 2: il logging strutturato — per ogni chiamata, una riga con timestamp, modello, token in entrata e uscita, latenza, esito. Il secondo strato è il salto di qualità per i sistemi multi-passo: il tracing. Ogni esecuzione del tuo workflow riceve un identificativo (run-ID), e ogni passo — ogni chiamata, ogni tool, ogni decisione — viene registrato sotto quell'ID. Quando la run 4512 produce un risultato assurdo, non devi indovinare: riavvolgi il nastro e vedi il percorso esatto — cosa è stato recuperato, cosa ha deciso il modello, dove si è storto. Strumenti come LangSmith o Langfuse lo fanno per mestiere, ma anche log tuoi ben strutturati bastano per iniziare. Il terzo strato sono i costi come metrica di prima classe: token e spesa per giorno e per componente, su un grafico che guardi — perché gli sforamenti di budget si intercettano dai grafici, non dalla fattura a fine mese. E il quarto: gli alert — tasso di errore sopra soglia, latenza anomala, spesa anomala — perché i numeri servono solo se qualcosa ti avvisa quando impazziscono.
Nota il filo che si chiude: gli eval (capitolo 1) ti dicono se il sistema è buono prima di rilasciarlo; l'osservabilità ti dice cosa sta facendo adesso; e ogni errore che l'osservabilità cattura diventa un caso di regressione negli eval. È un ciclo, ed è il motore di miglioramento di qualsiasi sistema serio.
L'esperimento del giorno. Aggiungi il tracing con run-ID al tuo workflow del Livello 4. Poi scrivi lo script che produce il report settimanale: quante run, quante fallite, costo totale, latenza media. Automatizzalo — un report che devi ricordarti di generare è un report che smetterai di guardare.