Affidarsi a un assistente AI senza verifiche è un rischio, ma anche il classico controllo a campione su una ventina di risposte non è sufficiente. È il metodo più diffuso per capire se un modello funziona, eppure regge solo fino al primo cambiamento: basta che il fornitore aggiorni il modello o che qualcuno ritocchi le istruzioni di sistema perché i risultati cambino senza che nessuno se ne accorga.
Perché il campione casuale non basta
Il problema è strutturale. Un controllo manuale su poche risposte non è ripetibile, non è tracciabile e non copre i casi limite. Quando il modello viene aggiornato, i vecchi test perdono validità e senza una baseline documentata diventa impossibile capire se la qualità è migliorata o peggiorata. La soluzione è passare a un sistema di valutazione su quattro livelli, che parte dai controlli di base e arriva a metriche più sofisticate.
I quattro livelli di valutazione
Il primo livello è la verifica di correttezza fattuale: l'output contiene informazioni vere e verificabili? Il secondo riguarda la pertinenza e la completezza: la risposta affronta davvero la domanda posta? Il terzo livello misura la coerenza e la sicurezza, cioè l'assenza di contraddizioni interne, allucinazioni o contenuti inappropriati. Il quarto, il più avanzato, valuta l'utilità pratica nel contesto d'uso: l'output è davvero azionabile per l'utente finale?
Applicare questo schema in modo ripetibile, con set di test fissi e versionati, permette di confrontare i modelli nel tempo e di accorgersi subito di eventuali regressioni. Non si tratta di un lusso per team di ricerca: chiunque integri un'AI in un flusso di lavoro dovrebbe adottare almeno i primi due livelli per evitare di fidarsi ciecamente di un sistema che cambia sotto i piedi.
