Articolo Pubblicazioni
GPT-2 (2019): il modello giudicato troppo rischioso e l’inizio del dibattito sui rischi dei LLM
di Vincenzo Calabrò · Pubblicato il 18 novembre 2019
Abstract
Il 14 febbraio 2019 OpenAI ha presentato GPT-2, un modello linguistico capace di scrivere testi coerenti a partire da poche righe, e ha deciso di non pubblicare la versione completa per timore di abusi. Dopo un rilascio graduale in più fasi, il 5 novembre è stato pubblicato il modello da 1,5 miliardi di parametri. L’articolo spiega che cos’è GPT-2, ricostruisce la strategia di rilascio e discute i rischi e le contromisure per la sicurezza delle informazioni.
Che cos’è GPT-2
GPT-2 è un modello linguistico basato sull’architettura transformer, proposta da ricercatori di Google nel 2017. È addestrato a prevedere la parola successiva in un testo, su un insieme di circa 40 gigabyte di pagine web raccolte seguendo i collegamenti pubblicati su Reddit che avevano ricevuto un minimo di apprezzamenti. La versione più grande ha 1,5 miliardi di parametri, circa dieci volte il predecessore GPT pubblicato nel 2018.
Il risultato ha sorpreso molti osservatori. Dato un inizio, il modello produce paragrafi coerenti per stile e argomento, imita il tono di un articolo di giornale, di una recensione o di un racconto, risponde in modo plausibile a domande e riassume testi, pur senza essere stato addestrato in modo specifico per questi compiti. Commette errori, ripete frasi, perde il filo nei testi lunghi e inventa fatti, ma a una lettura veloce i suoi testi possono passare per scritti da una persona.
La decisione di trattenere il modello
Presentando il lavoro, OpenAI ha annunciato che non avrebbe pubblicato il modello completo, i dati e il codice di addestramento, rilasciando solo una versione ridotta da 124 milioni di parametri. La motivazione era il timore di usi malevoli:
- produzione di articoli di notizie false o fuorvianti su larga scala;
- impersonificazione di persone in rete;
- automazione di contenuti offensivi o falsi sui social network;
- automazione dello spam e del phishing con testi più convincenti e variati.
La decisione ha diviso la comunità scientifica. Alcuni l’hanno considerata una mossa di comunicazione, osservando che il modello non era così diverso da altri e che i risultati sarebbero stati presto riprodotti. Altri l’hanno vista come un esperimento utile sulle norme di pubblicazione nella ricerca sull’intelligenza artificiale, in cui la regola era rendere disponibile tutto.
Il rilascio graduale
OpenAI ha seguito una strategia a fasi, pubblicando versioni di dimensioni crescenti e osservando che cosa accadeva:
- a febbraio la versione da 124 milioni di parametri;
- a maggio la versione da 355 milioni;
- ad agosto la versione da 774 milioni, accompagnata da un rapporto sugli impatti sociali e da accordi con istituti di ricerca per studiarne gli effetti;
- il 5 novembre la versione completa da 1,5 miliardi.
Nel frattempo altri gruppi hanno riprodotto modelli di dimensioni simili. Nel rapporto finale OpenAI ha dichiarato di non aver osservato finora prove forti di abuso, pur ritenendo che il rischio crescerà con modelli più capaci.
Un esperimento sulle norme di pubblicazione
Il valore principale del caso sta forse nel metodo. OpenAI ha accompagnato ogni fase con analisi e confronti con altri laboratori, ha chiesto a ricercatori esterni di studiare la capacità dei testi generati di convincere i lettori e ha pubblicato le proprie riflessioni sui criteri di rilascio. Uno degli studi commissionati ha rilevato che lettori comuni giudicavano credibili articoli falsi prodotti dal modello in una percentuale non lontana da quella degli articoli veri del New York Times usati come confronto. Altri hanno mostrato che il modello poteva essere riaddestrato con poco sforzo per produrre testi propagandistici con un orientamento ideologico preciso.
Questi risultati non dimostrano che gli abusi siano già diffusi. Indicano che le capacità necessarie esistono e che il costo per ottenerle scende rapidamente. Per chi deve valutare i rischi, la domanda utile riguarda quanto costerà fra due o tre anni produrre testi indistinguibili da quelli umani, e quali processi aziendali si basano oggi sull’ipotesi che scrivere un testo credibile richieda tempo e competenza.
Rilevare i testi generati
Insieme al modello completo OpenAI ha pubblicato un classificatore per riconoscere i testi prodotti da GPT-2, con un’accuratezza dichiarata intorno al 95 per cento sui testi del modello più grande. Ricercatori di altre istituzioni hanno presentato strumenti che sfruttano le stesse statistiche del modello, osservando che i testi generati tendono a usare parole più prevedibili di quelli umani. Sono risultati utili ma fragili. Un rilevatore funziona bene sul modello per cui è stato costruito e peggiora quando il testo viene modificato a mano o prodotto con un modello diverso o con parametri di generazione diversi.
Che cosa cambia per la sicurezza
Per chi si occupa di sicurezza i rischi più concreti nel breve periodo sono due. Il primo è l’ingegneria sociale. Messaggi di phishing grammaticalmente corretti, adattati al destinatario e prodotti in grandi quantità rendono meno efficace l’abitudine di riconoscere le truffe dagli errori di lingua. Il secondo è la manipolazione delle informazioni, con recensioni, commenti e profili falsi difficili da distinguere da quelli reali. In entrambi i casi la difesa non può basarsi sul riconoscimento dello stile. Contano la verifica della provenienza, l’autenticazione dei mittenti e dei canali, i controlli sulle procedure come la conferma dei pagamenti per un canale diverso.
Una questione aperta
Il caso GPT-2 ha aperto un dibattito che durerà. Riguarda il modo di pubblicare modelli potenti, le valutazioni da svolgere prima del rilascio, il coinvolgimento di gruppi esterni incaricati di cercare usi impropri e la condivisione delle informazioni tra laboratori. Sono pratiche comuni nella sicurezza informatica, come la divulgazione coordinata delle vulnerabilità, e potrebbero essere adattate all’intelligenza artificiale. È ragionevole attendersi modelli molto più grandi nei prossimi anni, e con essi la necessità di regole più precise.
Vedi anche: l’articolo del 2016 Microsoft Tay (2016), l’articolo del 2024 LLM per la cyber security e l’articolo del 2026 Un framework per mitigare i rischi dei LLM.
Vincenzo Calabrò | Ingegnere informatico specializzato in sicurezza informatica e investigazioni digitali. Funzionario informatico del Ministero dell'Interno; su incarico autorizzato si occupa di sicurezza informatica e di perizie informatiche forensi. Autore di articoli e saggi. Lecturer, Speaker, Trainer.Profili: Google Scholar · ORCID · ResearchGate · Academia.edu · CyberSecurity360 · AgendaDigitale · ICT Security Magazine · LinkedIn