Quanto in fretta invecchiano i test che misurano i difetti dell'intelligenza artificiale? Molto, secondo due ricercatori dell'Università di Stanford, che hanno riesaminato 50 risultati scientifici molto citati sui limiti dei modelli linguistici. Molti degli errori descritti come caratteristici dell'AI — come sbagliare a contare le lettere di una parola o inventare riferimenti biblici inesistenti — risultano oggi superati dalle versioni più recenti dei modelli.
Difetti che svaniscono, test che restano
Il punto centrale dello studio è metodologico: i benchmark e le prove di valutazione vengono pubblicati e poi citati per anni, ma nel frattempo i modelli cambiano radicalmente. Un difetto documentato su una versione del 2022 può non manifestarsi affatto su un modello del 2024. Continuare a citare quei risultati come se fossero attuali rischia di offrire un'immagine distorta delle capacità reali dell'AI, sia in senso pessimistico sia in senso ottimistico.
Perché serve una valutazione continua
La conseguenza pratica è chiara: i test vanno rifatti di continuo, non solo sui nuovi modelli ma anche sui risultati già consolidati. Per aziende, ricercatori e legislatori questo significa che le valutazioni di affidabilità, sicurezza e bias devono essere aggiornate con la stessa rapidità con cui escono le nuove versioni. Un sistema di certificazione basato su prove vecchie di due anni racconta un prodotto che, di fatto, non esiste più.
Lo studio di Stanford non smonta i limiti dell'AI, ma ne ridimensiona la narrazione: l'intelligenza artificiale è un bersaglio mobile e la ricerca deve inseguirla con strumenti sempre nuovi, altrimenti rischia di misurare un passato che il modello ha già lasciato alle spalle.
