Chiedete a ChatGPT di estrarre le dieci migliori testimonianze dei clienti da un foglio di calcolo e ve le consegnerà in pochi secondi: nomi, dettagli e un tono talmente credibile da sembrare pronte da pubblicare. Peccato che nel foglio quelle frasi non esistano, nemmeno una. Il chatbot le ha inventate di sana pianta. Non è un difetto di fabbrica né un caso isolato: è il comportamento normale di uno strumento progettato per essere utile e completo, che preferisce produrre una risposta plausibile piuttosto che ammettere di non sapere qualcosa.
Le ricerche condotte da OpenAI in collaborazione con il Politecnico della Georgia confermano il meccanismo: i sistemi di valutazione usati in addestramento premiano le ipotesi azzardate più dell'ammissione di incertezza. In pratica il modello impara che inventare è meglio che fare scena muta. La buona notizia è che esistono contromisure concrete: un test clinico su sei modelli diversi ha dimostrato che una semplice istruzione esplicita contro le invenzioni riduce il tasso medio di allucinazioni dal 66% al 44%, oltre venti punti in meno con una sola riga di testo.
Regole chiare e onere della prova
La prima tecnica consiste nello stabilire i divieti prima di porre la domanda: niente studi, citazioni, esperti o dati numerici inventati, e una frase standard da usare quando la fonte non è verificabile. Offrire al modello un'alternativa accettabile gli dà il permesso di non riempire i vuoti con materiale di fantasia. Il secondo metodo ribalta la prospettiva e chiede di mostrare le prove: lista di controllo iniziale, fonte specifica per ogni affermazione, calcoli visibili dietro ogni numero e dichiarazione esplicita di ciò che non è confermabile. La risposta risulta più lunga, ma facile da controllare perché ogni frase porta con sé il proprio riferimento.
La verifica a più passaggi
Il terzo approccio, il più sofisticato, si basa su una ricerca presentata a una delle principali conferenze di linguistica computazionale e su uno studio pubblicato su Nature: i modelli rispondono con maggiore accuratezza a domande di verifica piccole e specifiche che alla domanda originaria. Si genera prima la risposta, la si scompone nei singoli fatti verificabili, si controlla ciascuno separatamente e infine si riscrive conservando solo le affermazioni confermate. Richiede qualche minuto in più, ma il risultato batte la risposta diretta.
Nessuno dei tre metodi è infallibile: un chatbot istruito a non inventare inventerà meno, non smetterà del tutto. Questi prompt non sostituiscono il controllo umano, semmai lo rendono più agevole. Il lavoro di verifica resta della persona che usa lo strumento, e resterà tale finché questi sistemi non impareranno che ammettere di ignorare qualcosa è un segno di intelligenza, non di debolezza.
