Intelligenza Artificiale Generativa (GenAI) e Cybersecurity
di Vincenzo Calabrò · Pubblicato il
Abstract
L’articolo esamina i rischi di sicurezza dell’intelligenza artificiale generativa, diffusa tra privati, imprese e amministrazioni dopo l’arrivo di ChatGPT, e li suddivide in tre ambiti. Per gli utenti considera la fuga di informazioni immesse nei servizi e la produzione di contenuti inappropriati. Per i fornitori che integrano la GenAI nei servizi IT e OT descrive gli attacchi tramite prompt avversari e le contromisure, con riferimento alla classifica OWASP. Valuta infine l’impatto sulla sicurezza informatica, tra uso malevolo per frodi e attacchi e supporto ai difensori nella creazione di strumenti.
L'intelligenza artificiale generativa (GenAI) viene utilizzata sia dai privati che dalle aziende pubbliche e private. Di seguito, illustriamo alcuni dei principali rischi per la sicurezza dell'IA generativa, che sono reali e non possono essere ignorati, e a cosa occorre prestare attenzione. Analizziamo anche come l'IA generativa potrebbe influire sul mondo della cybersecurity.
Dalla comparsa di ChatGPT, l'intelligenza artificiale generativa, spesso paragonata a una nuova rivoluzione industriale, ha suscitato grande interesse in tutto il mondo. L'adozione di nuove tecnologie comporta nuovi rischi per la sicurezza e l'IA generativa non fa eccezione. Per questo è indispensabile adottare un approccio consapevole ai rischi associati all'uso di questa tecnologia. Poiché l'IA generativa è altamente versatile, non si possono ignorare i rischi per la sicurezza dell'IA stessa né la possibilità che possa influenzare l'intero settore della sicurezza informatica.
Il termine "AI generativa" viene talvolta utilizzato in varie accezioni, ma questo articolo si limita all'IA interattiva che utilizza un large language model (LLM), come ChatGPT.
Si individuano tre ambiti di rischio legati alla GenAI:
- I rischi per gli utenti che usano la GenAI
- I rischi dell'integrazione della GenAI nei servizi IT/OT
- L’impatto della GenAI sulla sicurezza informatica
Rischi per gli utenti che usano la GenAI
In primo luogo, occorre che gli utenti di servizi come ChatGPT conoscano i rischi per la sicurezza connessi alla GenAI. Durante l'interazione tra l'utente e l'IA generativa, l'utente immette un'istruzione chiamata "prompt" e l'IA generativa produce la risposta in base alle informazioni ricevute.
I due rischi principali ipotizzati sono la fuga di informazioni in ingresso e la produzione di informazioni inappropriate.
In primo luogo, la fuga di informazioni potrebbe verificarsi se le informazioni immesse da un utente nell'IA generativa venissero utilizzate come materiale di apprendimento per lo stesso sistema. Le informazioni immesse potrebbero essere incluse nell'output di altri utenti, causando una fuga di informazioni. Le contromisure da adottare consistono nel vietare l’immissione di informazioni che non dovrebbero essere divulgate o nell'utilizzare un servizio che non utilizzi le informazioni in ingresso per l'apprendimento e che garantisca un'adeguata gestione delle informazioni stesse.
Il secondo rischio è la produzione di informazioni inappropriate. L'IA generativa può plausibilmente produrre contenuti non veritieri e questo fenomeno è noto come "allucinazione". Può anche causare problemi legali ed etici, come la violazione del diritto d'autore, la discriminazione e i pregiudizi. Per ridurre questi output inappropriati, gli sviluppatori di IA generativa stanno lavorando per affrontarli. Al momento è però difficile eliminarli completamente e gli utenti devono essere consapevoli dei rischi presenti negli output dell'IA generativa e fare attenzione a non considerarli attendibili. In particolare, quando l'output viene riutilizzato, ad esempio per creare un report basato sull'output dell'IA generativa, gli utenti devono essere responsabili della sua verifica in termini di accuratezza e conformità.
I rischi dell'integrazione della GenAI nei servizi IT/OT
Analizziamo i rischi per la sicurezza dal punto di vista di un fornitore che offre un servizio che incorpora l'IA generativa. L'interfaccia di chat viene utilizzata come punto di contatto temporaneo con gli utenti e questo sarebbe un tipico caso d'uso in cui si fa uso dell'IA generativa. In questo caso, il rischio è quello di ottenere un output scorretto a causa di un input inaspettato da parte dell'utente. Esaminiamo nel dettaglio l'input e l'output.
L'input può essere preso di mira dagli utenti comuni e anche dagli hacker malintenzionati. I cyberattaccanti inseriscono prompt creati ad arte per generare intenzionalmente output inappropriati che non si verificherebbero normalmente. Questi messaggi sono detti "prompt avversari". I servizi che utilizzano l'IA generativa per apprendere gli input degli utenti devono anche considerare il rischio di un output distorto a causa di una grande quantità di input politicamente o eticamente distorti.
Poi c'è l'output che, se viene inserito un input contenente un prompt avversario, rischia di causare tre problemi.
- Perdita di informazioni attraverso l'emissione di informazioni su altri utenti o informazioni interne al sistema.
- Risposte inappropriate come servizio, come errori di fatto, pregiudizi, discriminazione, incitamento al crimine o violazione del copyright.
- Attivazione di un comportamento indesiderato di un sistema collegato quando l'output di un'IA generativa viene utilizzato come input per il sistema collegato.
Come contromisura comune, oltre al meccanismo di soppressione delle risposte inappropriate fornito dagli sviluppatori di IA generativa menzionato nella sezione precedente, è necessario considerare le contromisure a più livelli elencate di seguito.
- Limitare il comportamento con richieste aggiuntive nel servizio (ad esempio, non rispondere a domande che esulano da una specifica area).
- Controlli formali di I/O (ad esempio, consentendo solo l'uscita "Sì" o "No").
- Verifica dell'I/O con un'IA generativa indipendente, diversa dall'IA generativa che esegue l'I/O con l'utente.
- Test di vulnerabilità, compresa l'implementazione di prompt avversariali.
- Monitoraggio dei comportamenti sospetti dell'IA generativa e dei sistemi collegati durante la fase operativa.
Poiché il grado di libertà dell'input/output diminuisce con l'inasprimento delle contromisure, è necessario stabilire quali limiti imporre in base alla natura del servizio offerto. Per i servizi con bassa tolleranza di rischio, è necessario valutare se sia realmente possibile impiegare l'IA generativa.
L'Open Web Application Security Project (OWASP), un'organizzazione internazionale che si occupa di sicurezza delle applicazioni, ha pubblicato la "OWASP Top 10 for LLM Applications", che descrive i rischi particolarmente gravi per la sicurezza delle applicazioni LLM-enabled.
L’impatto della GenAI sulla sicurezza informatica
Abbiamo discusso i rischi per la sicurezza e le contromisure dell'IA generativa in sé. In questa sezione ci allontaneremo da questo argomento per considerare l'impatto dell'IA generativa sulla sicurezza informatica nel suo complesso. A differenza del software convenzionale, l'IA generativa è facile da usare ed estremamente versatile. Lo sviluppo dell'IA generativa influenzerà la cybersecurity in vari modi.
Si ipotizza che venga utilizzata per migliorare la sofisticazione e l'efficienza dei cyberattacchi già esistenti, come descritto di seguito.
- Sfruttamento a fini fraudolenti. Generazione di e-mail e fake news per scopi di phishing e business email compromise (BEC) (oltre all'IA interattiva oggetto di questo articolo, sono efficacemente utilizzati anche i generatori di immagini, audio e video).
- Supporto alla creazione di malware. I malware avanzati sono difficili da creare con l'attuale IA generativa, ma gli aggressori qualificati la sfruttano come strumento di supporto alla programmazione per aumentare l'efficienza della creazione.
- Supporto alle indagini e alle ricognizioni. Automazione ed efficienza del processo decisionale umano nelle indagini e nelle ricognizioni pre-attacco.
Questi usi malevoli avrebbero dovuto essere impediti dai limiti di sicurezza incorporati nell'IA generativa, ma gli aggressori hanno perfezionato le richieste avversarie per aggirare tali limiti. Gli sviluppatori dell'IA generativa hanno inasprito i limiti e ora esistono IA generative sintonizzate per i cyberattacchi senza limiti di output, vendute ai cyberattaccanti come attività in nero.
I cybercriminali non sono gli unici a beneficiare dell'IA generativa. Anche i team di risposta agli incidenti informatici (CSIRT) e i centri operativi di sicurezza (SOC) devono utilizzare attivamente l'IA generativa per combattere gli attacchi informatici. In futuro, potremmo vedere sistemi di difesa completamente automatizzati fermare attacchi completamente automatizzati. Per ora è difficile affidarsi completamente all'IA generativa per gestire tutto questo, quindi è probabile che, per il momento, l'IA generativa venga utilizzata per aumentare la produttività e sopperire alla mancanza di risorse umane per:
- Supporto alla creazione di strumenti. - supporto alla creazione di strumenti per semplificare le operazioni quotidiane dei CSIRT e dei SOC, nonché le operazioni di investigazione e risposta agli incidenti.
- Indagine sulle vulnerabilità. Il rovescio della medaglia dell'indagine e della ricognizione degli aggressori consiste nel semplificare l'individuazione dei luoghi (le cosiddette "superfici di attacco") che potrebbero essere oggetto di attacco da parte dell'organizzazione.
- Assistente. Fornisce assistenza nelle operazioni di investigazione e risposta agli incidenti informatici. Gli utenti devono possedere un certo livello di competenze per poter fornire istruzioni accurate.
Vedi anche: gli articoli LLM per la cyber security: suggerimenti per un uso corretto dei Large Language Model (2024), Il contributo della Generative Artificial Intelligence (GenAI) alla cybersecurity (2025) e Shadow AI: la minaccia ombra che incombe nelle organizzazioni (2025); il white paper del 2024 Generative Artificial Intelligence: punti di forza, rischi e contromisure; la presentazione del 2025 Artificial Intelligence come scudo: GenAI contro le minacce cyber; il webinar del 2026 Zero Trust per LLM Security.
Vincenzo Calabrò | Ingegnere informatico specializzato in sicurezza informatica e investigazioni digitali. Funzionario informatico del Ministero dell'Interno; su incarico autorizzato si occupa di sicurezza informatica e di perizie informatiche forensi. Autore di articoli e saggi. Lecturer, Speaker, Trainer.Profili: Google Scholar · ORCID · ResearchGate · Academia.edu · Wikidata · CyberSecurity360 · AgendaDigitale · ICT Security Magazine · Amazon · LinkedIn · YouTube · Ordine degli Ingegneri di Reggio Calabria