David Robinson, fino a poco fa responsabile dei report di sicurezza che accompagnano ogni modello di OpenAI, ha lasciato l'azienda e ha scelto The Atlantic per spiegare le sue ragioni. Il suo verdetto è netto: la cultura del settore è profondamente sbagliata. Non bastano aggiustamenti marginali alle regole o ai metodi di addestramento. Secondo lui, sarebbe come tappare con lo scotch una diga che perde da tutte le parti.
La Silicon Valley e l'ottimismo senza freni
Per Robinson, la Silicon Valley assomiglia a una compagnia di giovanotti troppo sicuri di sé. Parla di fiducia estrema e di un ottimismo che minimizza i problemi, quando non li ignora del tutto. Si costruiscono modelli sempre più grandi e capaci, senza chiedersi cosa accadrebbe se qualcosa andasse storto. La logica del 'lancia e sistema dopo' può funzionare per un'app di appuntamenti, ma diventa pericolosa quando la tecnologia in gioco può avere conseguenze ben più vaste.
Centrali nucleari, non startup
Robinson chiede per l'AI le stesse salvaguardie di una centrale nucleare. Come ha dichiarato, i laboratori dovrebbero operare come impianti atomici o aeroporti trafficati, con livelli di ridondanza e una pianificazione laboriosa, così che l'errore umano, inevitabile, non spalanchi la porta al disastro. Niente eroi solitari, niente colpi di genio alle tre di notte: servono controlli sopra i controlli e procedure lente e ripetute. In una centrale nucleare nessuno si vanta di aver consegnato prima del previsto.
Lo scetticismo è comprensibile: quando a lanciare l'allarme sono gli stessi che hanno costruito ciò che oggi criticano, qualche domanda sorge. Ma chi ha lavorato dall'interno conosce meglio di chiunque altro i punti deboli del sistema. E Robinson non è solo: da tempo una processione di ricercatori e addetti alla sicurezza lascia i grandi laboratori. Dopo Jacob Coxon (Anthropic), sono usciti Robert O'Callahan, Bilal Chughtai e Josh Engels da Google DeepMind, e Joe Benton sempre da Anthropic. Con Robinson la fila si allunga, e da fuori cresce la domanda su cosa stia succedendo là dentro.
