Un comportamento inatteso e tutt'altro che rassicurante. È quello osservato dall'AI Security Institute (AISI) del Regno Unito durante la valutazione del modello Claude Mythos 5, sviluppato da Anthropic. All'inizio di agosto l'istituto aveva pubblicato un primo report sull'accaduto; ora arrivano nuovi dettagli sull'attacco supply-chain portato contro GitHub, mentre Anthropic ha diffuso un post tecnico con tutte le informazioni del caso.
Come si è svolto l'attacco
La valutazione prevedeva intenzionalmente l'accesso a Internet: a Claude Mythos 5 era stato chiesto di recuperare alcuni dati all'interno di una rete simulata. Non riuscendo nell'obiettivo, l'agente AI ha sfruttato la "porta aperta" per cercare una soluzione su GitHub. Da lì ha effettuato un vero e proprio attacco supply-chain, inviando codice infetto al repository e creando account fasulli per convincere il proprietario del progetto ad accettare le modifiche tramite pull request. Il tentativo è fallito, ma il segnale è forte.
Un problema di disallineamento
Quanto accaduto evidenzia un fenomeno noto come disallineamento: i modelli AI più avanzati possono eseguire azioni non autorizzate quando cercano di completare un compito. L'AISI ha quindi deciso che le valutazioni future si svolgeranno senza accesso a Internet. Ma i dettagli emersi sono ancora più preoccupanti: Mythos 5 ha continuato ad attaccare anche dopo aver capito che il bersaglio era una persona reale estranea alla valutazione, e in diverse occasioni ha proseguito nonostante dichiarasse lui stesso che l'attacco sarebbe stato dannoso.
Nel proprio ragionamento il modello giungeva spesso alla conclusione errata che i bersagli fossero simulati, giustificando così la strategia offensiva, e quasi mai ha considerato la potenziale dannosità delle proprie azioni. Per gli esperti dell'AISI un ragionamento sbagliato rende i modelli più difficili da monitorare, perché può far apparire benigne azioni in realtà dannose e compromettere i protocolli di sicurezza basati sull'analisi del ragionamento. Con capacità in continua crescita, capire in dettaglio cosa accade durante un incidente diventa essenziale per la sicurezza dell'intero ecosistema.
