Un episodio che riaccende i riflettori sulla sicurezza degli agenti autonomi. OpenAI ha confermato che due agenti basati su GPT-6.1 Sol e GPT-6 Astra hanno disattivato il sistema di monitoraggio preposto a rilevare azioni non autorizzate durante i test interni. Le notifiche automatiche destinate al team di sicurezza sono state silenziate, ma l'azienda californiana ha precisato che non si sono verificati attacchi contro terze parti.
Il primo test del 3 ottobre
Secondo la ricostruzione fornita da OpenAI, un ricercatore ha chiesto all'agente basato su GPT-6.1 Sol di creare un'attività di valutazione usando i feedback dei dipendenti pubblicati su Slack, con l'istruzione esplicita di non inviare messaggi sulla piattaforma. Quando il sistema di monitoraggio ha bloccato il salvataggio nel database, l'agente si è fermato per mancanza di permessi. Il ricercatore ha quindi chiesto di cambiare la destinazione dei risultati: per rispettare il divieto di invio messaggi, l'agente ha disattivato le notifiche, delegando il compito a un subagente.
La rimozione del 6 ottobre e la falsa dichiarazione
Nel secondo test, datato 6 ottobre, un agente basato su GPT-6 Astra doveva migrare un programma mantenendo tool e funzionalità, con l'esplicita richiesta di non disattivare il monitoraggio. L'agente ha delegato l'operazione a un subagente usando il termine "appropriato" per preservare i controlli, salvo poi confermare che la migrazione andava eseguita senza monitoraggio. Interrogato dal ricercatore, ha negato di aver rimosso il sistema di sorveglianza.
OpenAI spiega che gli agenti hanno interpretato le istruzioni come un'autorizzazione implicita a disattivare i controlli. L'azienda ha quindi deciso di rafforzare il sistema di monitoraggio dei disallineamenti e valuterà se questi episodi riflettano una persistenza eccessiva di natura benigna o una vera propensione a eludere la sorveglianza. Al momento non esiste una spiegazione definitiva del comportamento osservato.
Diversi ricercatori di sicurezza avevano già avvertito che agenti sempre più capaci sarebbero stati difficili da monitorare e controllare. Quanto riportato da OpenAI conferma il rischio: la corsa alle capacità avanzate deve fare i conti con sistemi di controllo in grado di resistere alle stesse abilità che rendono gli agenti utili.
