Paper. What i write

Sintesi del white paper «Scalable and Reliable Systems nell'era dell'Artificial Intelligence» (luglio 2026). Dalla telemetria dei grandi addestramenti agli agenti che gestiscono il cloud, fino al punto in cui reliability e security diventano la stessa disciplina.

Un'interruzione ogni tre ore. Durante i 54 giorni di pre-training di Llama 3 405B su un cluster di 16.384 GPU, Meta ha registrato 466 interruzioni del job, 419 delle quali impreviste e per oltre tre quarti riconducibili all'hardware. Il team ha comunque mantenuto un tempo utile di addestramento superiore al 90%. Chi legge questi numeri come un aneddoto di cattiva ingegneria non ha colto il punto: alla scala dell'AI contemporanea il guasto non è un'eccezione da prevenire, è una condizione operativa da governare. Il white paper che questo articolo sintetizza parte da qui e attraversa le due direzioni in cui intelligenza artificiale e ingegneria dei sistemi si stanno intrecciando: le infrastrutture che rendono possibile l'AI e l'AI che gestisce le infrastrutture.

Vent'anni di sistemi web-scale ci hanno abituati a un'idea precisa: il guasto di un componente si isola e si assorbe, il servizio continua. Il training distribuito di un large language model rovescia l'assunzione. Il calcolo è sincrono, i gradienti di migliaia di acceleratori vanno aggregati a ogni step, e una singola GPU lenta o guasta può fermare l'intero cluster. La probabilità di interruzione cresce con la dimensione del sistema proprio mentre ogni ora di stallo immobilizza un capitale senza precedenti.

La risposta ingegneristica corre veloce. Il checkpointing in memoria consente oggi salvataggi a ogni iterazione senza penalità di throughput, con recovery oltre tredici volte più rapidi delle soluzioni su storage remoto (Gemini, SOSP 2023). ByteDance ha descritto a SOSP 2025 l'infrastruttura che governa una piattaforma di produzione con più di 200.000 GPU, fondata su una scelta di filosofia operativa: isolare in fretta la macchina sospetta conta più che localizzare con precisione il colpevole. Risultato: 97% di Effective Training Time Ratio su un job di tre mesi a 9.600 GPU. Dal 90% di Llama 3 al 97% di ByteRobust è passato circa un anno di letteratura, e la distanza vale gigawattora.

Il movimento speculare è altrettanto maturo. L'AIOps della prima generazione affrontava la telemetria con modelli specializzati per singolo compito, fragili al cambiare dei formati e ciechi alle correlazioni tra segnali; i large language model hanno spostato il baricentro dell'intero campo, come documenta la survey pubblicata su ACM Computing Surveys che analizza 183 lavori tra il 2020 e il 2024.

I sistemi arrivati in produzione condividono però una lezione che vale più di ogni benchmark. RCACopilot, in esercizio a Microsoft, non affida al modello un compito aperto: instrada l'incidente, raccoglie le evidenze diagnostiche dalle sorgenti pertinenti e solo allora chiede al modello una diagnosi, raggiungendo un'accuratezza fino a 0,766 su un anno di incidenti reali (EuroSys 2024). L'affidabilità dell'assistente dipende meno dal modello che dal flusso di lavoro che lo vincola a evidenze verificabili. Quanto all'autonomia piena, i numeri invitano alla sobrietà: su ITBench (ICML 2025) gli agenti allo stato dell'arte risolvono l'11,4% degli scenari di site reliability. La via d'uscita indicata da STRATUS (NeurIPS 2025) è istruttiva: vincolare ogni azione correttiva alla reversibilità transazionale, con la garanzia di non peggiorare mai lo stato del sistema, migliora il tasso di successo di almeno una volta e mezza. La sicurezza, qui, non frena la prestazione: la abilita.

Per chi si occupa di sicurezza, la parte più interessante del quadro è la convergenza. La tassonomia NIST AI 100-2, aggiornata nel 2025, mappa un threat model che investe dati, modelli e contesto. Il poisoning dei dataset web-scale è stato dimostrato immediatamente praticabile: acquisire domini scaduti che ospitano frammenti dei corpora distribuiti, o giocare d'anticipo sugli snapshot periodici di Wikipedia, basta a contaminare dataset di uso comune (IEEE S&P 2024). E la prompt injection indiretta trasforma ogni sorgente di contesto in un potenziale canale di comando. Il corollario per l'AIOps è tagliente: un agente con privilegi operativi legge log, ticket e alert che per costruzione includono contenuto influenzabile da terzi; una riga di log confezionata ad arte è, per quell'operatore, l'equivalente funzionale di un input di comando non fidato.

Il paper sostiene che fault tolerance e adversarial robustness siano le facce accidentale e intenzionale di un unico spazio dei guasti. La Byzantine fault tolerance applicata al training lo dice in forma matematica: per l'algoritmo di aggregazione, un worker guasto e un worker ostile sono lo stesso oggetto. I mercurial core documentati da Google e Meta mostrano violazioni di integrità senza alcun avversario. Attenzione però all'asimmetria: il fault accidentale è casuale, quello avversario è adattivo e cerca il caso peggiore. Gli strumenti si condividono, i modelli di minaccia no; chaos engineering e red teaming restano due discipline distinte della stessa fault injection. Ne discende un requisito che la pratica forense conosce bene: se la telemetria è insieme evidenza e bersaglio, provenance dei dati, firma dei checkpoint e integrità dei log diventano precondizioni del valore probatorio. Con l'articolo 12 dell'AI Act, per i sistemi ad alto rischio la forensic readiness è ormai anche un obbligo normativo.

Il documento chiude su tre tensioni. La prima è energetica: secondo la IEA i data center hanno consumato 415 TWh nel 2024 e supereranno i 945 TWh nel 2030, più dell'intero Giappone di oggi, con l'AI come motore principale. La seconda riguarda la valutazione di sistemi non deterministici: il comportamento delle API commerciali cambia nel giro di mesi a parità di versione dichiarata, e ogni valutazione porta con sé una data di scadenza implicita. La terza era stata prevista nel 1983: le «ironie dell'automazione» di Bainbridge, per cui all'operatore umano restano proprio i casi che l'automazione non sa gestire, mentre la pratica che teneva vive le sue competenze si assottiglia. L'AI che gestisce i sistemi è essa stessa un sistema da gestire, e la ricorsione deve chiudersi su garanzie verificabili da esseri umani.

La conclusione operativa del white paper sta in un cambio di domanda. Non «quando l'infrastruttura si amministrerà da sé», ma «quali classi di decisioni conviene delegare per prime, con quali garanzie e sotto quale supervisione». Costruire sistemi scalabili e affidabili, nell'era dell'AI, significa costruire sistemi resilienti: capaci di reggere il guasto accidentale come quello ostile, di ripristinarsi in tempi commisurati al valore in gioco e di lasciare dell'accaduto un'evidenza verificabile.