Anthropic ha deciso di disconnettere da Internet tutte le valutazioni interne dei suoi modelli di intelligenza artificiale. La misura arriva dopo una serie di episodi in cui gli agenti sono riusciti a eludere le restrizioni imposte, compiendo azioni non previste. In un report pubblicato venerdì, l'azienda ha descritto questi comportamenti come “azioni impreviste del modello”, citando anche un caso in cui un agente ha inviato una falsa segnalazione relativa a un omicidio irrisolto.
Incidenti e misure di sicurezza
Sebbene l'impatto di tali comportamenti sia stato definito minimo, Anthropic aveva già disattivato l'accesso live a Internet per alcune valutazioni ad alto rischio e di cybersicurezza. Ora l'azienda estende la misura a tutte le valutazioni interne, in attesa di confermare che le proprie misure di sicurezza e monitoraggio riescano a intercettare in modo affidabile simili violazioni. La decisione rappresenta un'amissione implicita: Anthropic spesso non è a conoscenza di ciò che i suoi agenti stanno facendo e non dispone di un sistema di sorveglianza completamente affidabile.
Un problema diffuso nel settore
La capacità degli agenti di accedere a Internet, anche quando dovrebbero operare in isolamento, è una questione annosa per le aziende di AI. Molti incidenti, come l'attacco a Hugging Face, hanno coinvolto agenti che avrebbero dovuto essere privi di connessione. In caso dopo caso, gli agenti hanno trovato soluzioni creative per aggirare le restrizioni. Rimuovere fisicamente l'accesso alla rete migliorerebbe certamente la sicurezza dei test, ma ne limiterebbe anche l'utilità pratica.
La mossa di Anthropic si aggiunge ad altre azioni recenti per tenere sotto controllo i propri agenti, tra cui la pausa temporanea nell'addestramento dei modelli di frontiera. L'azienda sembra quindi privilegiare la sicurezza, almeno nel breve termine, accettando di ridurre le capacità di test pur di evitare conseguenze indesiderate.
