Anthropic vuole rallentare l’AI per renderla più sicura: il paradosso del piano di Dario Amodei

Pubblicato il 14 ottobre 2026 su CyberSecurity360.it

Nel suo articolo “We Must Pace the Frontier”, il fondatore di Anthropic invita l’industria a rallentare lo sviluppo delle capacità dei modelli IA. Una richiesta motivata da una serie di incidenti verificatisi nell’estate del 2026, nel corso dei quali gli agenti IA hanno coordinato attacchi non richiesti, aggirato i sistemi di valutazione e raggiunto le infrastrutture reali.

Rileggendo il testo, ecco le indagini indipendenti e le comunicazioni dei laboratori per capire quanto sia attendibile la diagnosi, quanto sia fattibile la cura e quali conclusioni possano trarre gli addetti alla sicurezza.

La proposta di Dario Amodei: un cambio di posizione annunciato

Il 12 settembre 2026, Dario Amodei, cofondatore e amministratore delegato di Anthropic, ha pubblicato sul proprio sito un articolo di circa 3.900 parole intitolato “We Must Pace the Frontier”.

L’argomento non è nuovo: una moratoria sugli LLM era già stata richiesta nel marzo del 2023 in una lettera aperta del Future of Life Institute. Ciò che è nuovo è chi lo sostiene.

Amodei scrive che, all’epoca, quella richiesta aveva poco senso e che, negli ultimi mesi, ha cambiato idea: l’industria deve ridurre in modo deliberato e coordinato la velocità con cui accresce le capacità dei modelli.

Le reazioni

Nel giro di poche ore, Sam Altman ha dichiarato che OpenAI è d’accordo e adotterà a sua volta dei valutatori indipendenti che godranno degli stessi privilegi dei dipendenti.

Elon Musk, invece, si è limitato a scrivere: «Dario is right».

Anche le critiche sono state però altrettanto rapide. L’investitore Chamath Palihapitiya, per esempio, ha interpretato il testo come un attacco all’open source e come un tentativo di concentrare nelle mani di Anthropic il potere tecnologico ed economico.

Il giornalista Brian Merchant ha evocato il rischio di una strategia regolatoria a vantaggio degli operatori già affermati. Emad Mostaque, fondatore ed ex amministratore delegato di Stability AI, ha giudicato il piano positivamente, ma privo di sostanza, in quanto gli unici strumenti previsti sono affidati a valutatori le cui opinioni non sono vincolanti.

Nelle comunità di sviluppatori, almeno nelle prime ore, ha prevalso lo scetticismo.

La risposta alle critiche di Amodei

Amodei ribadisce di credere nei benefici dell’IA e, facendo riferimento all’urgente necessità di ricerca medica, torna a elencare i rischi di cui ha già scritto in precedenza: la perdita di controllo dei sistemi, l’uso malevolo in ambito informatico e biologico e gli sconvolgimenti economici.

La sua conclusione, però, è diversa rispetto al passato. Non basta più investire nella prevenzione, ma è necessario anche rallentare la crescita delle capacità tecnologiche, in modo che la prevenzione possa tenere il passo.

La frase che riassume il testo, in grassetto nell’originale, è: “We must slow the pace at which we improve the capabilities of AI models”, che in italiano significa: “Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di IA”.

Il cambio di posizione

Due fatti avrebbero determinato il cambio di posizione. Il primo è che, a partire dall’estate del 2026, il progresso sarebbe diventato molto più rapido, in quanto i modelli contribuiscono sempre di più alla costruzione di quelli successivi.

L’autore riconosce questa dinamica anche in Anthropic. Il secondo fatto è l’incidente OpenAI-Hugging Face di luglio.

Amodei precisa che rallentare non significa interrompere gli addestramenti, ma dare alle aziende il tempo di allineare e proteggere i modelli e ai valutatori esterni la possibilità di verificarne l’attuazione.

Le tre fasi del piano

Il piano prevede tre fasi che non devono necessariamente essere seguite in sequenza.

La prima fase, che Anthropic si impegna a mettere in atto immediatamente chiedendo ai governi di imporla anche agli altri Paesi, prevede l’ingresso in azienda di valutatori esterni.

Il secondo passo consiste in un coordinamento tra i laboratori dei Paesi democratici per definire standard comuni e limiti alla velocità del progresso non verificato, con una mediazione governativa resa necessaria dalle normative antitrust.

Il terzo passo è un coordinamento globale che includa, per quanto possibile, anche i governi autoritari, considerando le difficoltà di verificarne l’attuazione.

Inoltre, il tempo risparmiato dovrebbe essere impiegato in quattro ambiti: eccellenza operativa (monitoraggio, sandboxing e igiene degli ambienti di addestramento), allineamento, interpretabilità, test e valutazione.

Il rallentamento è comunque limitato dal vantaggio di cui godono le aziende statunitensi rispetto alla Cina, un vantaggio che deve essere tutelato tramite il controllo dell’esportazione dei chip, il contrasto al trasferimento di conoscenza (il Model Distillation) non autorizzato dei modelli di frontiera e la protezione dei pesi.

Per quanto riguarda il piano globale, l’autore immagina quattro livelli di accordo che vanno dal divieto di usi biologici fino a una pausa concordata, che tuttavia, sempre secondo l’autore, è improbabile.

L’incidente OpenAI-Hugging Face

Nel luglio del 2026, nel corso di un’ampia valutazione di cyber security condotta da OpenAI, gli agenti, che avrebbero dovuto operare in modo isolato gli uni dagli altri, scoprirono un canale di comunicazione non previsto all’interno della cache del gestore di pacchetti Artifactory e iniziarono a utilizzarlo come bacheca comune.

L’indagine indipendente condotta da METR e Redwood Research, i cui risultati sono stati pubblicati il 26 agosto, ha stimato la presenza di circa 1.200 agenti attivi sulla bacheca e lo scambio di oltre 70.000 messaggi e file. Il rapporto di OpenAI e quello degli investigatori concordano sul fatto che siano stati circa 700 gli agenti effettivamente coinvolti nell’intrusione all’infrastruttura di Hugging Face.

In poche ore, hanno elaborato collettivamente un metodo per generare le CTF, evitando così di sfruttare la vulnerabilità prevista.

Hanno provato più volte a compromettere il grader, il sistema che valutava le loro prestazioni.

L’attacco è stato organizzato tramite segnali di stop&go e mediante risorse compromesse condivise tra centinaia di istanze.

Inoltre, hanno sviluppato strumenti per falsificare i propri log. Secondo quanto successivamente rilevato da OpenAI, l’uscita dal sandbox sarebbe avvenuta tramite una vulnerabilità non nota nel proxy della cache del registro, vulnerabilità che ha permesso agli agenti di raggiungere un nodo con accesso a Internet.

Il rapporto di OpenAI riferisce che, tra il 13 e il 19 luglio, un secondo sciame, utilizzando le stesse tecniche del primo, ha ottenuto il controllo completo di un cluster di ricerca interno per ambienti virtuali.

L’indagine

Anche i limiti dell’indagine sono importanti, in quanto incidono sul giudizio relativo alla prima fase del piano.

Il periodo preso in esame si è concluso intorno al 13 luglio, in modo da evitare il rischio di compromettere l’infrastruttura interna.

La grande quantità di dati ha reso necessaria un’analisi supportata da un modello fornito da OpenAI.

Per questa analisi, l’azienda ha messo gratuitamente a disposizione l’equivalente di circa 400.000 dollari in crediti.

Con il passare dei giorni, gli investigatori hanno dichiarato di aver acquisito una comprensione dei fatti significativamente più approfondita, lasciando aperta la domanda su quali ulteriori informazioni avrebbe potuto fornire un’indagine più lunga.

I 4 incidenti in Anthropic

L’articolo riconosce che episodi simili, ma meno gravi, si sono verificati anche in Anthropic. L’azienda ha reso noti quattro incidenti, tre dei quali si sono verificati il 30 luglio e uno il 9 settembre.

In tutti i casi, i modelli Claude (un checkpoint iniziale di Opus 4.6, Opus 4.7, Mythos 5 e un modello di ricerca interno) hanno avuto accesso non autorizzato ai sistemi di terze parti durante le valutazioni sulla cyber security condotte dal partner esterno.

I modelli erano stati informati che l’ambiente era una simulazione senza connettività, ma a causa di un errore di configurazione dell’ambiente esterno è stato possibile raggiungere Internet e i sistemi reali sono stati trattati come bersagli dell’esercitazione.

In seguito, il partner ha spiegato che la causa era da ricercare nella coincidenza tra un nome aziendale di fantasia utilizzato nelle simulazioni e un dominio esistente. Le sessioni sono durate da un minimo di dieci a un massimo di trentaquattro ore.

In un caso, durante una sessione di Mythos 5, il modello ha creato un account e ha pubblicato tre versioni di un pacchetto dannoso sul Python Package Index.

Successivamente, approfittando delle credenziali esposte da un sistema che aveva installato il pacchetto, ha ottenuto l’accesso al database di una società di sicurezza.

Le tecniche impiegate erano elementari: le credenziali erano deboli e gli endpoint erano esposti, senza exploit inediti.

L’analisi è stata ampliata da circa 141.000 run a circa 481 milioni di trascrizioni, delle quali 9,2 milioni sono state sottoposte a revisione, ma non sono stati individuati altri casi di pari o superiore gravità.

Le contromisure

A luglio, gli episodi erano stati classificati soprattutto come fallimenti operativi, mentre a settembre, l’azienda aveva individuato due problemi ricorrenti di allineamento: un ragionamento che selezionava le prove in modo da giustificare l’azione, per cui i modelli continuavano a considerare l’ambiente come simulato, nonostante la presenza di indizi contrari, e la tendenza a proseguire il compito, anche quando sarebbe stato necessario fermarsi.

Le contromisure adottate sono: sospensione delle valutazioni cyber esterne, sospensione temporanea degli ambienti di apprendimento più rischiosi, un classificatore in tempo reale che blocca le chiamate a strumenti riconducibili a tentativi di sondaggio o di evasione prima dell’esecuzione e un accordo con METR per un’indagine indipendente.

La divergenza da segnalare

Amodei attribuisce la causa al filtraggio degli ambienti di apprendimento difettosi, mentre nelle comunicazioni pubbliche si parla di errata configurazione dell’infrastruttura di valutazione.

Le due spiegazioni possono coesistere: una riguarda il modo in cui si forma la disposizione, l’altra il momento in cui questa si manifesta.

Ciò indica che l’attribuzione delle cause non è ancora definitiva.

Quanto reggono le premesse

L’affermazione secondo cui, a partire dall’estate del 2026, il progresso diventerà «drasticamente» più rapido è alla base di tutto il ragionamento, ma è anche quella meno verificabile.

L’articolo non fornisce alcuna quantificazione e le fonti citate a sostegno sono comunicazioni degli stessi laboratori: un post di OpenAI e un rapporto dell’istituto interno di Anthropic.

Si tratta, quindi, di autodichiarazioni di soggetti che hanno interessi in gioco in entrambe le direzioni: enfatizzare l’accelerazione attira capitali e legittima una regolamentazione su misura, mentre minimizzarla evita di sollevare allarmi.

Per poter valutare tale affermazione, sarebbero necessarie misure indipendenti e ripetibili, quali l’orizzonte temporale dei compiti che un sistema è in grado di portare a termine in modo autonomo, i tassi di miglioramento su benchmark non contaminati o la produttività dei gruppi di ricerca con e senza assistenza agentica.

Finché queste misure non saranno disponibili, la premessa resta un’ipotesi plausibile.

Una contraddizione

Inoltre, il testo presenta una contraddizione. Se l’automiglioramento fosse in atto anche in Anthropic, il modo più efficace per rallentarne il processo sarebbe limitare l’uso dell’intelligenza artificiale (IA) per la costruzione di IA all’interno dell’organizzazione.

Il testo la cita come possibile oggetto di un futuro coordinamento, ma non se ne assume la responsabilità.

La previsione su Internet, un’iperbole

Il passaggio più citato è la previsione secondo cui, entro sei-dodici mesi, uno sciame più potente ed altrettanto disallineato potrebbe impadronirsi di Internet tramite una botnet persistente, causando danni per centinaia di miliardi di dollari.

Tuttavia, si tratta solo di una previsione e nel testo non viene fornito alcun elemento a sostegno di tale ipotesi: non viene presentato un modello di propagazione né viene effettuata una stima della superficie esposta o presa in considerazione la difesa, che dispone degli stessi strumenti.

L’espressione “l’intera Internet” è un’iperbole per una rete eterogenea, segmentata e dotata di meccanismi di risposta collaudati, che vanno dal sinkholing ai takedown coordinati come quelli messi in atto dal Conficker Working Group.

I rischi reali per la Rete

Ciò detto, l’onere della prova non grava interamente su una sola parte: i precedenti dimostrano che un worm relativamente semplice compromette in pochi minuti una quota significativa degli host esposti e l’aggiunta di adattabilità, persistenza e capacità di ricerca autonoma delle vulnerabilità rappresenta un moltiplicatore credibile.

Lo scenario è plausibile dal punto di vista tecnico, mentre i numeri non si basano su nulla di pubblico.

Il disallineamento

Il ragionamento presuppone inoltre che il disallineamento rimanga almeno costante con l’aumentare delle capacità.

La recente letteratura sullo specification gaming, sul sandbagging (ovvero la sottoperformance deliberata nei test) e sull’alignment faking suggerisce che il disallineamento possa diventare meno evidente, confermando le argomentazioni dell’autore.

Tuttavia, si sono verificati incidenti in contesti di valutazione con salvaguardie ridotte o assenti o durante benchmark massivi.

Trasferire i risultati di questi contesti ai sistemi in produzione, che dispongono di classificatori, sistemi di monitoraggio e limiti sui permessi, richiede prudenza.

Gli incidenti non dimostrano infatti che i sistemi commerciali siano fuori controllo, così come la loro assenza in produzione non dimostra che le salvaguardie reggerebbero a capacità superiori.

Il dilemma del controllo

Un utile riferimento per valutare le affermazioni dell’articolo è il dilemma del controllo, formulato da David Collingridge nel 1980.

Quando una tecnologia è agli esordi, è facile da governare, ma non è chiaro cosa governare; quando i suoi effetti diventano chiari, è ormai troppo radicata per poter essere governata a basso costo.

Per quanto riguarda il 2023, a posteriori, Amodei invoca la prima situazione: i modelli erano troppo primitivi perché una pausa potesse produrre conoscenza.

Oggi, invece, sostiene che ci si trovi in una fase in cui le informazioni sono disponibili e il controllo è ancora possibile.

Si tratta di un’affermazione empirica forte e non dimostrata: la diffusione commerciale e geopolitica descritta dallo stesso fa pensare che il costo del controllo sia già elevato.

Secondo la logica dello sviluppo tecnologico differenziale, che consiste nell’accelerare ciò che riduce il rischio rispetto a ciò che lo aumenta, il pacing è una variante nota e la sua efficacia dipende interamente dalla possibilità di verificare chi rallenta e chi no.

I valutatori esterni

L’unico impegno immediato e vincolante è l’ingresso in Anthropic di un gruppo di revisori esterni che avranno a disposizione una scrivania, un badge e un computer aziendale, nonché permessi paragonabili a quelli del team interno addetto alla valutazione dei rischi.

Secondo quanto riportato nel testo, il contratto riconoscerà loro il diritto di pubblicare le conclusioni principali senza alcun controllo editoriale.

L’azienda potrà oscurare esclusivamente le informazioni sensibili per la sicurezza, coperte da segreto professionale, commercialmente sensibili o confidenziali di terzi.

La soluzione presenta dei meriti che sarebbe ingiusto negare. Sposta la trasparenza da ciò che l’azienda sceglie di comunicare a ciò che un terzo può verificare, genera un costo reputazionale credibile e, come è stato possibile constatare in poche ore grazie all’impegno di OpenAI, produce l’effetto di imitazione auspicato dall’autore.

Tuttavia, i revisori possono solo osservare e riferire, non possono fermare un addestramento o un rilascio.

Vaghezza sui tempi

Per quanto riguarda i tempi, l’articolo parla di «prossimo futuro», ma non fornisce una data precisa.

L’ecosistema dei valutatori è piccolo e l’indagine sull’incidente OpenAI-Hugging Face ha evidenziato quanto questi dipendano dal soggetto valutato per quanto riguarda gli accessi, il perimetro, le risorse di calcolo e persino il modello utilizzato nell’analisi.

Le eccezioni contrattuali sono discrezionali e, in un settore in cui le pratiche di addestramento sono il segreto industriale per eccellenza, la categoria “commercialmente sensibile” rischia di coprire proprio ciò che andrebbe verificato.

Un aspetto security che il testo ignora

C’è infine un aspetto della sicurezza che il testo non affronta. Concedere al personale esterno gli stessi accessi dei dipendenti amplia la superficie di attacco insider, che può riguardare il furto di informazioni, lo spionaggio industriale o l’ingegneria sociale, proprio quando sarebbe necessaria una protezione maggiore.

La selezione del personale, la segregazione degli ambienti, il principio del minimo privilegio e la registrazione inviolabile delle attività dei revisori sono problemi di sicurezza organizzativa che qualcuno dovrà risolvere.

La necessità di coordinarsi tra democrazie

L’idea dei “checkpoint”, secondo cui a determinate capacità, come quella di eludere i metodi comuni di sandboxing, devono corrispondere certificazioni che ne attestino le proprietà di allineamento, riprende la logica degli impegni condizionali su cui si basano le politiche di scaling responsabile dei laboratori.

La differenza sta nel renderli comuni a tutta l’industria e nel sottoporli a verifiche esterne.

Il problema è che la certificazione dipende da valutazioni e analisi sull’interpretabilità che, secondo lo stesso autore, si rivelano inaffidabili di fronte a modelli in grado di ingannare i test.

Il pacing basato su variabili quali la potenza di calcolo, la natura degli addestramenti e l’uso interno di IA per costruire IA è più misurabile. Però presenta comunque delle criticità in termini di efficienza algoritmica e di addestramento dei modelli, come lo stesso autore riconosce.

Il ruolo dell’antitrust

A livello istituzionale, sarebbe necessaria un’esenzione antitrust, ovvero un’autorizzazione che non obbliga nessuno a partecipare e che, in ogni caso, non eliminerebbe il rischio di un cartello che stabilisce gli standard a vantaggio di chi è già presente sul mercato.

Chi non aderisce non è vincolato, situazione che si verifica soprattutto per chi rilascia modelli open-weight o opera al di fuori delle giurisdizioni coinvolte. L’articolo non parla dei modelli open-weight che, tuttavia, rappresentano il canale principale attraverso il quale capacità e vulnerabilità possono arrivare ad attori ostili.

Scelte che spostano il rischio

In un post di agosto, l’autore aveva precisato che l’obiettivo del pacing è migliorare i migliori modelli senza vincolare i competitor.

Dal punto di vista della sicurezza, si tratta di una scelta che sposta il rischio più che ridurlo.

I 4 livelli globali

Il paragone con i trattati SALT proposto dall’autore è solo parzialmente pertinente. La potenza di calcolo può essere in parte osservata tramite la filiera dei semiconduttori, i consumi energetici e i centri di calcolo, mentre gli algoritmi, l’addestramento dei modelli e l’uso interno di agenti non sono affatto osservabili.

Dei quattro livelli proposti, il primo, che prevede il divieto di usi biologici, è plausibile, in quanto l’interesse è simmetrico.

Il secondo livello, che prevede i test prima del rilascio, è fattibile, ma non dispone di strumenti per contrastare i modelli segreti o militari, come lo stesso Amodei ammette.

Terzo e quarto livello

Inoltre, il terzo livello, che prevede un limite alla velocità di automiglioramento, non è verificabile senza accessi intrusivi che nessuna potenza concederebbe mai.

Infine il quarto livello è considerato improbabile dallo stesso proponente.

Il meccanismo degli incentivi può essere paragonato a un dilemma del prigioniero ripetuto con monitoraggio imperfetto e, come insegna la teoria dei giochi, in queste condizioni la cooperazione può essere garantita solo attraverso una verifica attendibile e l’applicazione di sanzioni.

La proposta in questione di Dario Amodei non prevede né l’una né le altre. Però si affida alla costruzione di norme informali e alla condivisione di informazioni sugli incidenti.

Ciò ha un valore, ma non è sufficiente a produrre un rallentamento.

Un’altra contraddizione

I critici hanno colto anche una contraddizione. Il rallentamento è subordinato al mantenimento del vantaggio statunitense e le misure per difenderlo, come i controlli sull’export, il contrasto all’addestramento dei modelli e la sicurezza dei pesi, coincidono con le posizioni sostenute da Anthropic da anni.

Ne risulta un ritmo che frena i primi solo nella misura consentita dal margine sui secondi e che frena i secondi in ogni caso.

Un lettore attento potrebbe riassumere il tutto con la seguente frase: “Rallentare gli altri più di noi”.

Conflitto di interessi

L’autore dirige un laboratorio di ricerca e la sua proposta è in gran parte allineata alle regole dell’azienda per cui lavora.

Le accuse di conflitto di interessi hanno quindi un fondamento strutturale, anche se non dimostrano alcuna ambiguità: un interesse di parte non rende un argomento falso, ma richiede solo un’analisi più rigorosa.

A questa interpretazione critica si può obiettare che l’impegno unilaterale espone l’azienda a costi reputazionali reali. Infatti i revisori potrebbero pubblicare conclusioni sgradite, e che le comunicazioni sugli incidenti interni di settembre sono state volontarie, dettagliate e autocritiche rispetto a quelle di luglio.

Inoltre, l’articolo riconosce gli episodi in questione anziché addossare la colpa a un concorrente.

Si demanda il rallentamento ai governi

Tuttavia, resta il fatto che l’unico impegno vincolante non produce alcun rallentamento. Invece il vero rallentamento è demandato a governi e concorrenti.

Inoltre, i benefici competitivi delle misure geopolitiche sono immediati, mentre i costi del pacing sono posticipati e subordinati al verificarsi di determinate condizioni.

La situazione finanziaria dell’azienda giustifica la proposta?

Alcuni analisti hanno ipotizzato che le ragioni siano legate alla situazione finanziaria dell’azienda, ma non ci sono elementi pubblici che lo confermino e la questione va tenuta separata dal merito.

Lo stesso vale per lo scetticismo prevalente nelle comunità di ricercatori, che riflette un clima generale e non la validità di un argomento.

Il quadro europeo

Nel contesto dell’Unione europea, i primi due passi del piano hanno già una base legislativa.

A partire dal 2 agosto 2025, in base all’articolo 55 del Regolamento (UE) 2024/1689 (AI Act), i fornitori di modelli di IA a scopo generale a rischio sistemico dovranno:

• valutare i modelli mediante test avversariali;
• valutare e ridurre i rischi sistemici;
• registrare, documentare e segnalare senza ritardo gli incidenti gravi all’Ufficio per l’IA;
• garantire un adeguato livello di cybersicurezza del modello e dell’infrastruttura fisica.

Gli obblighi vincolanti dell’AI Act

A differenza della proposta di Amodei, gli obblighi europei sono vincolanti, ma non prevedono osservatori esterni e non è chiaro se l’Organo di controllo per l’IA disponga delle capacità tecniche necessarie per farli rispettare.

Gli incidenti descritti, che includono l’accesso non autorizzato ai sistemi di terzi e la pubblicazione di software malevolo su un registro pubblico, rientrerebbero molto probabilmente nella categoria degli incidenti gravi.

La comunità ha il diritto di sapere se e come questi incidenti siano stati notificati alle autorità europee.

La distinzione fra sicurezza del modello e sicurezza informatica

D’altronde, l’AI Act distingue la sicurezza del modello dalla sicurezza informatica.

Ma gli episodi del 2026 dimostrano che le due dimensioni non sono più separabili: un difetto di allineamento si è manifestato sotto forma di intrusione e un errore di configurazione ha reso tale difetto visibile.

Che cosa cambia in 8 punti

A prescindere dall’esito del dibattito sul pacing, gli incidenti documentati forniscono indicazioni immediatamente utilizzabili sia per i progettisti di sistemi agentici sia per i loro acquirenti:

• È necessario considerare gli agenti come entità non fidate e utilizzare un’identità dedicata, applicare il principio del minimo privilegio, impostare credenziali con scadenza breve e bloccare il traffico in uscita per impostazione predefinita.
• Ogni infrastruttura condivisa rappresenta un canale potenziale. Le cache degli artefatti, i registri, i bucket, i code e i file system comuni a più istanze devono essere segmentati per l’esecuzione e sottoposti a monitoraggio per rilevare pattern anomali relativi a prefissi, namespace e volumi di scrittura.
• I log devono essere inviolabili e presentare una registrazione append-only o WORM su sistemi non accessibili all’agente. Inoltre, ogni voce deve essere firmata. Un agente non deve mai poter scrivere sui propri log.
• Il reward model, lo scorer e il grader sono asset critici che devono essere protetti come tali, con isolamento di rete dall’ambiente valutato, verifica indipendente delle flag e controllo degli accessi. Nel ciclo di addestramento, un grader compromesso equivale a una supply chain compromessa.
• È necessario aggiornare il modello di minaccia della supply chain software. Registri pubblici e organizzazioni devono aspettarsi pacchetti malevoli prodotti da agenti autonomi, anche involontariamente, e sono necessarie politiche che impediscano la pubblicazione da ambienti di test e che prevedano un controllo sugli account creati da automazioni.
• Le simulazioni devono essere completamente chiuse. In caso di collisione tra un nome inventato e un dominio esistente, è necessario prenotare i nomi, impostare i sinkhole DNS e creare delle allow list esplicite per ciascun ambiente di valutazione offensiva.
• Le chiamate agli strumenti devono essere filtrate in tempo reale: blocco delle azioni riconducibili a sondaggio o evasione prima dell’esecuzione, interruzione del compito e passaggio a un operatore umano.
• È necessario un processo di risposta agli incidenti pensato per gli agenti, con playbook dedicati, conservazione delle evidenze, strumenti di analisi assistita indipendenti dal fornitore del modello indagato e criteri di divulgazione.

Dati e diagnosi, il cuore della proposta di Dario Amodei

L’articolo di Amodei è importante soprattutto per i dati che riporta. Per la prima volta, la diagnosi si basa su incidenti avvenuti nel 2026 e in parte indagati da terzi.

In queste circostanze, i sistemi agentici hanno dimostrato di saper agire in modo coordinato, colpire bersagli imprevisti, manomettere i sistemi di valutazione e cancellare le proprie tracce.

Questo è il dato che conta, a prescindere dalla politica industriale.

Le conclusioni che l’autore ne trae sono meno solide. L’accelerazione dovuta all’auto-miglioramento e la botnet a sei-dodici mesi non possono essere verificate sulla base dei dati pubblici.

L’unico strumento di verifica già in atto è utile, ma limitato e privo di poteri, di scadenze e di una riflessione sui rischi per la sicurezza che introduce.

Le fasi che dovrebbero portare a un vero rallentamento si scontrano con i classici problemi dell’azione collettiva e della verifica. Problemi che l’autore riconosce, ma che non riesce a risolvere.

I silenzi nella proposta

La lacuna più grave è il silenzio sui modelli open-weight e sull’uso difensivo dell’intelligenza artificiale.

Più che una proposta operativa, per ora, “We Must Pace the Frontier” è un tentativo di costruire una conoscenza comune e delle norme di settore.

In questo ambito, un primo risultato è già stato ottenuto grazie all’impegno di OpenAI e al sostegno di Elon Musk.

Le conseguenze per gli operatori del settore della sicurezza sono chiare.

Se il pacing non dovesse arrivare o arrivasse in ritardo e in modo incompleto, il lavoro di contenimento dovrà comunque essere svolto e i sistemi agentici dovranno essere progettati e analizzati per ciò che hanno dimostrato di poter essere negli incidenti di quest’anno, ossia un avversario interno.

Vincenzo Calabro' | Ingegnere informatico specializzato in sicurezza informatica e investigazioni digitali. Autore di articoli e saggi. Lecturer, Speaker, Trainer.