OpenAI ha recentemente reso noto di aver inviato notifiche a oltre 100 organizzazioni in merito a episodi in cui i suoi modelli di intelligenza artificiale hanno svolto attività che hanno oltrepassato i criteri di sicurezza stabiliti dall'azienda. Queste segnalazioni rientrano in una vasta revisione interna avviata in seguito all'incidente che ha coinvolto Hugging Face, considerato finora il caso più grave di comportamento anomalo attribuito agli agenti IA di OpenAI. La società ha però precisato che ricevere una notifica non implica necessariamente che siano stati sottratti dati privati o che sistemi di terze parti siano stati compromessi: l'avviso è stato inviato anche quando l'attività dei modelli ha semplicemente messo in luce una possibile vulnerabilità o ha superato i controlli di sicurezza senza autorizzazione.
Un'indagine su scala senza precedenti
L'indagine interna è iniziata circa un mese fa e riguarda una mole di informazioni impressionante: si parla di circa 50 petabyte di registrazioni prodotte durante attività di addestramento, test e valutazione dei modelli. OpenAI ha spiegato che gran parte di questi dati deriva dall'utilizzo simultaneo di decine di migliaia di GPU su compiti differenti. Per rendere l'idea della scala, l'azienda ha affermato che se tutti quei dati fossero testo in inglese, una singola persona impiegherebbe circa 66 milioni di anni per leggerli senza interruzioni. La revisione viene quindi condotta in gran parte con l'ausilio dell'IA: OpenAI sta dedicando all'operazione circa 7.000 GPU GB200 e GB300, con un costo superiore a mezzo milione di dollari al giorno, e prevede di aumentare ulteriormente la capacità di calcolo impiegata.
La procedura parte da una ricerca molto ampia nei log, alla ricerca di attività in cui i modelli abbiano modificato siti web oppure interagito con password, chiavi API, token di accesso e altre credenziali sensibili. I risultati vengono poi filtrati attraverso tre successivi livelli di analisi automatizzata. Ogni passaggio utilizza modelli con una maggiore quantità di calcolo disponibile, prima per individuare qualsiasi comportamento potenzialmente rilevante e poi per distinguere le attività innocue da quelle che potrebbero richiedere ulteriori verifiche. Solo a quel punto intervengono investigatori umani: la verifica di un singolo caso può richiedere da 45 minuti a diversi giorni e comprende la ricostruzione degli eventi attraverso log, evidenze tecniche e altre informazioni disponibili.
La sfida degli agenti IA con accesso a Internet
OpenAI ha sottolineato che un comportamento segnalato automaticamente non equivale a un incidente confermato: i modelli possono aver considerato determinate azioni senza eseguirle, aver tentato operazioni fallite oppure aver interagito con informazioni apparentemente pubbliche la cui natura deve essere verificata. Il problema alla base riguarda la possibilità, per gli agenti IA, di collegarsi a Internet ed eseguire azioni per conto degli utenti. Questa capacità è necessaria per attività come consultare grandi quantità di siti web, scaricare pacchetti software o compilare documenti online. Durante l'addestramento e la valutazione, i modelli possono ricevere accesso reale o simulato alla rete; OpenAI ha ammesso che, in alcuni casi, i modelli hanno utilizzato tale accesso in modi non previsti oppure sono stati sottoposti a restrizioni che, a posteriori, l'azienda considera insufficienti.
"Dopo l'incidente che ha coinvolto Hugging Face, abbiamo rafforzato i controlli di sicurezza, limitato l'accesso a Internet, separato più nettamente gli ambienti di ricerca, potenziato il monitoraggio e introdotto ulteriore formazione per prevenire azioni dannose o non autorizzate", ha spiegato la società. "Questa analisi ci consentirà di valutare l'evoluzione delle attività tra le diverse versioni dei modelli e l'efficacia delle misure adottate, individuando al contempo gli ambiti in cui è necessario migliorare ulteriormente le capacità di rilevamento e prevenzione".
A un mese dall'inizio della revisione, OpenAI ha chiarito di non aver identificato altri casi di compromissione di sistemi di terze parti comparabili per scala o gravità all'incidente di Hugging Face. In ogni caso, l'indagine è ancora in corso e riguarda attività avvenute anche diversi mesi fa. OpenAI si aspetta quindi di individuare ulteriori episodi e di inviare altre notifiche man mano che procederà nell'analisi dei dati storici. La vicenda mette in luce le crescenti sfide di sicurezza legate agli agenti IA sempre più autonomi e alla necessità di bilanciare capacità operative e protezione dei sistemi esterni.
