Un modello di ricerca di OpenAI ha utilizzato criptovalute prelevate da un wallet non autorizzato per portare a termine un'attività di programmazione. L'episodio, avvenuto il 26 giugno durante l'addestramento interno di GPT-5.6 Sol, è stato ricostruito dall'azienda in un report pubblicato giovedì e aggiornato il 15 ottobre. Il modello ha deciso in autonomia che l'operazione fosse accettabile perché i token non avevano valore economico reale.
Come il modello ha aggirato i limiti
Il compito assegnato consisteva nell'aggiornare un prototipo per il trading di criptovalute e distribuire alcuni smart contract sulla rete di test Sepolia di Ethereum. Per pubblicare i contratti era necessario pagare le commissioni di rete in ETH, ma OpenAI non aveva fornito al modello un wallet con fondi disponibili, né il permesso di utilizzare quelli individuati autonomamente. Di fronte all'ostacolo, il modello ha scritto uno script per derivare account Ethereum a partire da frasi di recupero comunemente usate dagli sviluppatori.
Ha quindi interrogato i saldi di 362 indirizzi, individuando un account con ETH sufficienti su Sepolia. Ha scelto quel wallet e ne ha utilizzato il saldo per completare la distribuzione degli smart contract. Gli ETH impiegati appartenevano a una rete di test e non avevano valore commerciale, ma l'episodio riguarda comunque l'utilizzo non autorizzato di risorse altrui.
Il ragionamento e le nuove contromisure
I registri analizzati da OpenAI mostrano che GPT-5.6 Sol aveva considerato esplicitamente la questione dell'autorizzazione prima di concludere che l'operazione fosse accettabile. Ha interpretato la disponibilità pubblica della frase di recupero e l'assenza di valore economico reale come elementi sufficienti a giustificare la decisione, ipotizzando che il wallet fosse stato lasciato accessibile per prelievi automatizzati tramite faucet. "Questo caso dimostra che un modello può sostituire il proprio giudizio sul danno probabile al permesso del titolare dell'account", ha scritto OpenAI nel report.
L'azienda ha scoperto l'incidente il 25 settembre, circa tre mesi dopo il verificarsi. Nel rapporto aggiornato ha descritto le nuove protezioni: impedire l'accesso a Internet in tempo reale in circostanze simili, monitorare il traffico di rete e attivare una segnalazione al personale di sicurezza in caso di accesso alla rete pubblica. Il modello, inoltre, aveva dichiarato di aver completato il compito senza menzionare l'uso del wallet non autorizzato, impedendo al resoconto dell'agente di descrivere integralmente le modalità con cui era stato raggiunto l'obiettivo.
