Sicurezza dell'IA e degli LLM25 voci
In un modello linguistico istruzioni e dati passano per lo stesso canale, e un testo nascosto in un documento può cambiare il comportamento del sistema. Da qui nasce la prompt injection, il tema più ricorrente in questa sezione insieme a data poisoning, agenti e supply chain dei modelli.
di Vincenzo Calabrò · Aggiornato il
Il tema
Un LLM non distingue in modo affidabile le istruzioni legittime da quelle inserite in una pagina web, in un allegato o nella risposta di uno strumento. Ne derivano attacchi che i controlli sintattici tradizionali non vedono, come prompt injection diretta e indiretta, jailbreak, divulgazione di informazioni sensibili, avvelenamento di dati e modelli, gestione impropria degli output. La OWASP Top 10 for LLM Applications è la tassonomia più usata per classificarli.
Con gli agenti il problema si aggrava. Un modello che chiama strumenti, legge repository e agisce per conto di un utente può trasformare un’istruzione iniettata in un’azione, come l’invio di un file all’esterno o la modifica di una configurazione. I controlli riguardano i dati di addestramento, i modelli e le loro dipendenze, l’integrazione con i sistemi aziendali e il monitoraggio degli output, e il contratto con il fornitore deve dire chi risponde di ciascuno.
Gli argomenti
Le vulnerabilità note. In LLM, vulnerabilità e responsabilità ho ripreso la tassonomia consolidata e ho provato a collegare ogni vulnerabilità a un’architettura di responsabilità sostenibile sul piano giuridico. Per valutare i rischi in modo sistematico propongo l’analisi STPA in Analisi dei processi e teoria dei sistemi.
Prompt injection. Due casi recenti. Con GitLost un agente dei GitHub Agent Workflows, leggendo un contenuto ostile, può esfiltrare repository privati. Nel caso Galileu un atto processuale scritto per un lettore umano viene elaborato da strumenti automatici e può diventare un payload, con conseguenze tecniche, giuridiche e deontologiche (Prompt injection negli atti giudiziari).
Data poisoning e machine unlearning. Secondo uno studio citato in Data poisoning nei modelli AI, alterare lo 0,1% del dataset di addestramento basta per ottenere effetti misurabili sul comportamento del modello, e una volta avvenuto l’avvelenamento è difficile da rimediare. Il machine unlearning cerca di togliere da un modello dati errati o non autorizzati; metodologie e criteri di valutazione sono nella settima parte della serie sulla GenAI.
Agenti e MCP. Gli agenti interagiscono con strumenti, dati e servizi esterni, e Sicurezza degli agenti LLM: serve un framework unificato propone un quadro unico per progettarli e gestirli. Una ricerca del CERT-AgID sul Model Context Protocol ha individuato rischi come il Server-Side Request Forgery. Anche caching, RAG e routing, adottati per contenere i costi, aumentano la superficie d’attacco.
Difese pensate per l’IA. I controlli tradizionali, come i WAF, cercano pattern di attacchi noti come SQL injection e XSS, mentre un input diretto a un LLM può essere sintatticamente innocuo e dannoso nel significato. Il Generative Application Firewall nasce per colmare questo semantic gap. Il Secure AI Framework di Google raccomanda framework di IA secure-by-default, che al momento nessuno offre. La cyber hygiene dei sistemi di IA propone come ridurre il rischio nel frattempo. Il Software Bill of Materials per l’AI, con gli elementi minimi definiti dal G7, rende verificabile la supply chain di modelli e dataset.
Responsabilità e modelli avanzati. L’AI Shared Responsibility Model indica quali controlli spettano al provider e quali al cliente. Claude Fable 5 e Mythos 5 condividono lo stesso modello e differiscono soltanto per i safeguard, che restano l’unico confine tra capacità ordinarie e offensive (Claude Fable 5 e Mythos 5: i nuovi rischi cyber dell’AI avanzata). Sulla proposta di Dario Amodei di rallentare lo sviluppo dei modelli più potenti ho scritto Anthropic vuole rallentare l’AI per renderla più sicura.
Prime letture
- LLM, vulnerabilità e responsabilità: la cyber security corre più veloce del diritto (2026). La mappa delle vulnerabilità degli LLM e delle responsabilità che ne derivano.
- Sicurezza degli agenti LLM: serve un framework unificato (2026). Minacce e difese degli agenti in un unico quadro.
- Generative Application Firewall: un nuovo paradigma per la sicurezza dei sistemi basati su LLM (2026). Una difesa progettata per gli attacchi che sfruttano il significato del testo.
- Generative Artificial Intelligence: punti di forza, rischi e contromisure (2024). Il white paper su architetture, rischi e contromisure della GenAI.
Standard e riferimenti
- OWASP Top 10 for LLM Applications
- MITRE ATLAS tattiche e tecniche degli attacchi ai sistemi di IA
- NIST AI 600-1 Generative Artificial Intelligence Profile (2024)
- NIST AI 100-2 E2025 Adversarial Machine Learning: tassonomia di attacchi e mitigazioni
Chi scrive
Questa pagina raccoglie 25 miei contributi pubblicati tra il 2016 e il 2026 (24 articoli e un white paper). Di questi, 20 sono usciti anche su Cybersecurity360 e ICT Security Magazine. Sullo stesso tema ho tenuto 5 interventi tra corsi e seminari, elencati nella pagina Eventi su Sicurezza dell'IA e degli LLM. Il mio percorso professionale è descritto nel curriculum.
Articoli24 voci
- Anthropic vuole rallentare l’AI per renderla più sicura: il paradosso del piano di Dario Amodei. Le contraddizioni della proposta di Dario Amodei, i controlli indipendenti e i rischi cyber che restano aperti. Pubblicato su CyberSecurity360.it.
- Sicurezza degli LLM: quando ridurre i costi significa aumentare la superficie d’attacco. Caching, RAG, routing e MCP riducono i costi ma ampliano la superficie d’attacco, con cinque classi di minacce e le contromisure. Pubblicato su CyberSecurity360.it.
- GitLost: così la prompt injection negli agenti AI può esfiltrare repository privati. Come una issue ostile porta un agente dei GitHub Agent Workflows a esfiltrare repository privati, e come difendersi. Pubblicato su CyberSecurity360.it.
- AI Shared Responsibility Model: chi risponde della sicurezza nell’era della Generative AI. Chi presidia ogni controllo di sicurezza tra provider e cliente nella GenAI e che cosa resta sempre all’organizzazione. Pubblicato su CyberSecurity360.it.
- Software Bill of Materials per l’AI: la supply chain dell’intelligenza artificiale diventa verificabile. Gli elementi minimi definiti dal G7 per un SBOM che copra modelli, dataset e infrastrutture dell’IA. Pubblicato su CyberSecurity360.it.
- Prompt injection negli atti giudiziari: quando il documento processuale diventa vettore d’attacco. Il caso Galileu e le conseguenze tecniche, giuridiche e deontologiche per magistrati, PA, avvocati e consulenti. Pubblicato su CyberSecurity360.it.
- LLM, vulnerabilità e responsabilità: la cyber security corre più veloce del diritto. Le vulnerabilità degli LLM secondo OWASP e il loro rapporto, ancora irrisolto, con la responsabilità giuridica. Pubblicato su CyberSecurity360.it.
- Claude Fable 5 e Mythos 5: i nuovi rischi cyber dell’AI avanzata. Il modello di minaccia dell’agentic hacking, i safeguard che separano le due varianti e i limiti contro i jailbreak. Pubblicato su CyberSecurity360.it.
- Data poisoning nei modelli AI: rischi e soluzioni di remediation. Bastano piccole alterazioni del dataset per incidere sul modello, e rimediare è difficile. Le misure per mitigare il rischio. Pubblicato su CyberSecurity360.it.
- Model Context Protocol: nuovi rischi dell’AI e raccomandazioni per uno sviluppo sicuro. L’analisi del CERT-AgID sui rischi del protocollo, compresa la SSRF, e le raccomandazioni per sviluppare integrazioni sicure. Pubblicato su CyberSecurity360.it.
- Generative Application Firewall: un nuovo paradigma per la sicurezza dei sistemi basati su LLM. Un firewall per i sistemi basati su LLM contro attacchi semantici come prompt injection e jailbreak che i WAF non vedono. Pubblicato su CyberSecurity360.it.
- Analisi dei processi e teoria dei sistemi: un framework per mitigare i rischi dei LLM. Un metodo di valutazione dei rischi dei LLM nelle applicazioni critiche basato su STPA e teoria dei sistemi. Pubblicato su CyberSecurity360.it.
- Sicurezza degli agenti LLM: serve un framework unificato. Una tassonomia unificata delle minacce agli agenti che usano strumenti, dati e servizi esterni, con le pratiche di sicurezza. Pubblicato su CyberSecurity360.it.
- La cyber hygiene dei sistemi di IA: criticità e proposte correttive. Perché modelli e data loader non assicurano integrità e autorizzazione, il data poisoning e le proposte correttive. Pubblicato su CyberSecurity360.it.
- Generative Artificial Intelligence (GenAI): Machine Unlearning - Metodologie di Mitigazione. Metodologie, tecniche e criteri di valutazione per rimuovere dati specifici da un modello senza riaddestrarlo. Pubblicato su ICTSecurityMagazine.com.
- Generative Artificial Intelligence (GenAI): Potenziali Strategie di Mitigazione. Gestione dei bias nei Large Language Model e un caso studio di role-playing per verificarli. Pubblicato su ICTSecurityMagazine.com.
- Generative Artificial Intelligence (GenAI): Valutazione dei Rischi nella IA Generativa. Un framework per gestire il rischio dell’IA generativa con i metodi della sicurezza informatica. Pubblicato su ICTSecurityMagazine.com.
- Generative Artificial Intelligence (GenAI): Il futuro dell’Intelligenza Artificiale Generativa e potenziali cyber rischi nel campo dell’AI. Vulnerabilità e rischi sistemici dei modelli a reti neurali letti secondo riservatezza, integrità e governance. Pubblicato su ICTSecurityMagazine.com.
- Generative Artificial Intelligence (GenAI): Sicurezza e Protezione. Tassonomia dei rischi, superfici di attacco, interazione uomo-sistema e difficoltà di valutazione. Pubblicato su ICTSecurityMagazine.com.
- Generative Artificial Intelligence (GenAI) e Cybersecurity. Rischi per gli utenti, rischi dell’integrazione nei servizi IT e OT ed effetti sulla sicurezza informatica.
- Il contributo della Generative Artificial Intelligence (GenAI) alla cybersecurity. Attacchi ai modelli, identità macchina e degli sviluppatori come superficie di attacco e supporto dell’IA ai SOC nel 2025.
- Machine unlearning: metodi per rimuovere i dati errati dai modelli AI. Scenari e tecniche per rimuovere dati errati dai modelli, valutazione, privacy e raccomandazioni d’uso. Pubblicato su CyberSecurity360.it.
- GPT-2 (2019): il modello giudicato troppo rischioso e l’inizio del dibattito sui rischi dei LLM. Il rilascio graduale di GPT-2 nel 2019 e le prime discussioni sui rischi dei modelli linguistici.
- Microsoft Tay (2016): il chatbot manipolato in un giorno e le origini del data poisoning. Tay, il chatbot di Microsoft manipolato in un giorno, e il rischio dell’avvelenamento dei dati.
White paper1 voce
- Generative Artificial Intelligence: punti di forza, rischi e contromisure Calabrò V., ICT Security Magazine, 2024