Ingegneria e Affidabilità dell'IA11 voci
Un modello che funziona in laboratorio può sbagliare in produzione senza che nessuno se ne accorga. L’ingegneria dei sistemi di IA serve a evitarlo, con metodi per progettare, misurare e tenere sotto controllo i modelli.
di Vincenzo Calabrò · Aggiornato il
Il tema
Nel software tradizionale il comportamento è scritto nel codice. In un sistema di IA dipende dai dati di addestramento, e i test funzionali da soli lo verificano solo in parte. Anche un modello accurato in validazione può sbagliare davanti a input diversi da quelli visti durante l’addestramento, peggiorare quando i dati cambiano (data drift) o rispondere in modo diverso a piccole variazioni della stessa domanda.
L’ingegneria dell’IA usa strumenti propri, come metriche che vanno oltre la precisione, rilevamento degli input Out of Distribution, explainability, analisi dei rischi a livello di sistema e pipeline MLOps che rendono ripetibili addestramento, rilascio e monitoraggio. Lo scopo è arrivare a sistemi la cui affidabilità si possa misurare e documentare.
Gli argomenti
Le pratiche del SEI. Nel maggio 2026 il Software Engineering Institute della Carnegie Mellon University ha aggiornato il suo documento di riferimento sull’ingegneria dei sistemi di IA con dodici pratiche, pensate come guida per le scelte di progetto. Ne ho scritto una sintesi con un commento critico (Le 12 best practice dell’ingegneria dei sistemi di intelligenza artificiale).
Misurare l’affidabilità. Nel 2023 ho scritto di indicatori di affidabilità, fiducia degli utenti e criteri di progettazione in Come misurare e rendere affidabile un sistema di intelligenza artificiale, e ho ripreso il tema nella serie sulla GenAI. Per gli LLM usati nei sistemi critici contano tre proprietà, precisione, regolazione e stabilità, analizzate in Le proprietà dei LLM applicati ai sistemi critici.
Out of Distribution. Se un modello riceve dati molto diversi da quelli di addestramento e nessuno lo rileva, l’errore può passare inosservato anche in un sistema mission critical. Out of Distribution (OoD) ne analizza cause e scenari e presenta tre approcci (OoD detection, robustness e generalization).
Explainability e analisi di sistema. Explainable AI e Hybrid AI cercano di rendere comprensibili le decisioni dei modelli (Explainable AI e Hybrid AI). L’analisi STPA, basata sulla teoria dei sistemi, offre un metodo strutturato per individuare i rischi degli LLM nei processi in cui sono inseriti (Analisi dei processi e teoria dei sistemi).
Fiducia e rischio cyber. Costruire la fiducia nell’AI parte dal NIST AI Risk Management Framework e lega la fiducia a trasparenza, robustezza e governance responsabile, con un approccio basato sul rischio cyber.
In produzione. L’MLOps porta nel machine learning le pratiche DevOps e si regge su quattro principi (sviluppo e sperimentazione, integrazione continua, consegna continua, monitoraggio e gestione). Il white paper Scalable and Reliable Systems nell'era dell'Artificial Intelligence guarda al rapporto tra IA e sistemi distribuiti nei due sensi, cioè le architetture che servono per addestrare ed eseguire i modelli e l’IA usata per gestire i sistemi. Chi vuole provare può partire da Implementare un Large Language Model locale, che spiega come installare Ollama e Open WebUI su Windows.
Prime letture
- Le 12 best practice dell’ingegneria dei sistemi di intelligenza artificiale (2026). Le dodici pratiche del SEI, con un commento critico.
- Out of Distribution (OoD): cos’è e come riconoscere quando l’AI non sa (2025). Come accorgersi che un modello sta lavorando fuori dal suo dominio.
- MLOps: come portare il machine learning dalla sperimentazione alla produzione (2025). Come portare un modello in produzione e tenerlo sotto controllo.
- Scalable and Reliable Systems nell'era dell'Artificial Intelligence (2026). Il white paper su IA e affidabilità dei sistemi distribuiti.
Standard e riferimenti
- NIST AI 100-1 AI Risk Management Framework (AI RMF 1.0)
- ISO/IEC 42001 sistema di gestione per l’intelligenza artificiale
- ISO/IEC 5338 processi del ciclo di vita dei sistemi di IA
- ISO/IEC 25059 modello di qualità per i sistemi di IA
Chi scrive
Questa pagina raccoglie 11 miei contributi pubblicati tra il 2023 e il 2026 (9 articoli e due white paper). Di questi, 9 sono usciti anche su Cybersecurity360 e ICT Security Magazine. Sullo stesso tema ho tenuto 4 interventi tra corsi e seminari, elencati nella pagina Eventi su Ingegneria e Affidabilità dell'IA. Il mio percorso professionale è descritto nel curriculum.
Articoli9 voci
- Le 12 best practice dell’ingegneria dei sistemi di intelligenza artificiale. Sintesi e analisi critica delle dodici pratiche del Software Engineering Institute aggiornate nel 2026. Pubblicato su CyberSecurity360.it.
- Costruire la fiducia nell’AI: un approccio basato sul rischio cyber. La fiducia nell’IA secondo il NIST AI RMF, tra trasparenza, sicurezza e governance, con un metodo basato sul rischio cyber. Pubblicato su CyberSecurity360.it.
- Analisi dei processi e teoria dei sistemi: un framework per mitigare i rischi dei LLM. Un metodo di valutazione dei rischi dei LLM nelle applicazioni critiche basato su STPA e teoria dei sistemi. Pubblicato su CyberSecurity360.it.
- MLOps: come portare il machine learning dalla sperimentazione alla produzione. I quattro principi e i componenti per portare i modelli di machine learning in produzione in modo affidabile. Pubblicato su CyberSecurity360.it.
- Out of Distribution (OoD): cos’è e come riconoscere quando l’AI non sa. Perché rilevare gli input anomali nei sistemi mission critical e con quali tecniche farlo. Pubblicato su CyberSecurity360.it.
- Generative Artificial Intelligence (GenAI): Explainable AI e Hybrid AI. Explainable AI e Hybrid AI contro l’opacità dei modelli, con trasparenza, affidabilità ed etica. Pubblicato su ICTSecurityMagazine.com.
- Generative Artificial Intelligence (GenAI): Misurare e rendere affidabile un sistema di AI. Problemi psicologici, tecnici ed etici e criteri per progettare sistemi di IA degni di fiducia. Pubblicato su ICTSecurityMagazine.com.
- Le proprietà dei LLM applicati ai sistemi critici: precisione, regolazione e stabilità. Come valutare precisione, regolazione e stabilità dei LLM nei sistemi critici, oltre la sola accuratezza. Pubblicato su CyberSecurity360.it.
- Come misurare e rendere affidabile un sistema di intelligenza artificiale. Come progettare e misurare l’affidabilità di un sistema di IA, con gli indicatori per gli utenti finali. Pubblicato su CyberSecurity360.it.