Articoli e white paper Pubblicazioni

Sicurezza dell'IA e degli LLM25 voci

In un modello linguistico istruzioni e dati passano per lo stesso canale, e un testo nascosto in un documento può cambiare il comportamento del sistema. Da qui nasce la prompt injection, il tema più ricorrente in questa sezione insieme a data poisoning, agenti e supply chain dei modelli.

di · Aggiornato il

Il tema

Un LLM non distingue in modo affidabile le istruzioni legittime da quelle inserite in una pagina web, in un allegato o nella risposta di uno strumento. Ne derivano attacchi che i controlli sintattici tradizionali non vedono, come prompt injection diretta e indiretta, jailbreak, divulgazione di informazioni sensibili, avvelenamento di dati e modelli, gestione impropria degli output. La OWASP Top 10 for LLM Applications è la tassonomia più usata per classificarli.

Con gli agenti il problema si aggrava. Un modello che chiama strumenti, legge repository e agisce per conto di un utente può trasformare un’istruzione iniettata in un’azione, come l’invio di un file all’esterno o la modifica di una configurazione. I controlli riguardano i dati di addestramento, i modelli e le loro dipendenze, l’integrazione con i sistemi aziendali e il monitoraggio degli output, e il contratto con il fornitore deve dire chi risponde di ciascuno.

Gli argomenti

Le vulnerabilità note. In LLM, vulnerabilità e responsabilità ho ripreso la tassonomia consolidata e ho provato a collegare ogni vulnerabilità a un’architettura di responsabilità sostenibile sul piano giuridico. Per valutare i rischi in modo sistematico propongo l’analisi STPA in Analisi dei processi e teoria dei sistemi.

Prompt injection. Due casi recenti. Con GitLost un agente dei GitHub Agent Workflows, leggendo un contenuto ostile, può esfiltrare repository privati. Nel caso Galileu un atto processuale scritto per un lettore umano viene elaborato da strumenti automatici e può diventare un payload, con conseguenze tecniche, giuridiche e deontologiche (Prompt injection negli atti giudiziari).

Data poisoning e machine unlearning. Secondo uno studio citato in Data poisoning nei modelli AI, alterare lo 0,1% del dataset di addestramento basta per ottenere effetti misurabili sul comportamento del modello, e una volta avvenuto l’avvelenamento è difficile da rimediare. Il machine unlearning cerca di togliere da un modello dati errati o non autorizzati; metodologie e criteri di valutazione sono nella settima parte della serie sulla GenAI.

Agenti e MCP. Gli agenti interagiscono con strumenti, dati e servizi esterni, e Sicurezza degli agenti LLM: serve un framework unificato propone un quadro unico per progettarli e gestirli. Una ricerca del CERT-AgID sul Model Context Protocol ha individuato rischi come il Server-Side Request Forgery. Anche caching, RAG e routing, adottati per contenere i costi, aumentano la superficie d’attacco.

Difese pensate per l’IA. I controlli tradizionali, come i WAF, cercano pattern di attacchi noti come SQL injection e XSS, mentre un input diretto a un LLM può essere sintatticamente innocuo e dannoso nel significato. Il Generative Application Firewall nasce per colmare questo semantic gap. Il Secure AI Framework di Google raccomanda framework di IA secure-by-default, che al momento nessuno offre. La cyber hygiene dei sistemi di IA propone come ridurre il rischio nel frattempo. Il Software Bill of Materials per l’AI, con gli elementi minimi definiti dal G7, rende verificabile la supply chain di modelli e dataset.

Responsabilità e modelli avanzati. L’AI Shared Responsibility Model indica quali controlli spettano al provider e quali al cliente. Claude Fable 5 e Mythos 5 condividono lo stesso modello e differiscono soltanto per i safeguard, che restano l’unico confine tra capacità ordinarie e offensive (Claude Fable 5 e Mythos 5: i nuovi rischi cyber dell’AI avanzata). Sulla proposta di Dario Amodei di rallentare lo sviluppo dei modelli più potenti ho scritto Anthropic vuole rallentare l’AI per renderla più sicura.

Prime letture

Standard e riferimenti

  • OWASP Top 10 for LLM Applications
  • MITRE ATLAS tattiche e tecniche degli attacchi ai sistemi di IA
  • NIST AI 600-1 Generative Artificial Intelligence Profile (2024)
  • NIST AI 100-2 E2025 Adversarial Machine Learning: tassonomia di attacchi e mitigazioni

Chi scrive

Questa pagina raccoglie 25 miei contributi pubblicati tra il 2016 e il 2026 (24 articoli e un white paper). Di questi, 20 sono usciti anche su Cybersecurity360 e ICT Security Magazine. Sullo stesso tema ho tenuto 5 interventi tra corsi e seminari, elencati nella pagina Eventi su Sicurezza dell'IA e degli LLM. Il mio percorso professionale è descritto nel curriculum.

Articoli24 voci

White paper1 voce