Nel mondo dei servizi, il vecchio adagio «il cliente ha sempre ragione» sta vacillando sotto i colpi dell'intelligenza artificiale generativa. Non perché i clienti abbiano smesso di avere ragione, ma perché sempre più spesso pretendono che gli operatori assecondino le allucinazioni di un chatbot. Madison, cameriera in un ristorante italiano raccomandato dalla Guida Michelin a New York, racconta episodi inquietanti: clienti che, dopo aver dichiarato un'allergia ai crostacei, ordinano un piatto il cui brodo è fatto proprio di crostacei. Quando lei glielo fa notare, la risposta è: «ChatGPT dice che non c'è». La situazione degenera al punto che alcuni rifiutano l'intervento del sommelier, preferendo consultare l'AI per la scelta del vino, arrivando a richiedere bottiglie che non esistono.
L'AI come oracolo domestico
Il fenomeno non è isolato. Jason, ranger fluviale in una zona federale del Mountain West, vede arrivare visitatori con itinerari generati dall'AI che prevedono di risalire la corrente del fiume in barca o di accamparsi in campeggi inesistenti. «La parte più folle è che anche dopo che spieghiamo l'errore indicando la mappa, alcuni restano scettici», racconta. «Un certo tipo di utente AI è incline a fidarsi più di ChatGPT che dei ranger, delle mappe e delle guide cartacee». Lo stesso accade in ambito educativo: Casey, insegnante in un doposcuola, riferisce di genitori che consultano ChatGPT per definire la routine del sonno dei figli, ignorando i consigli di professionisti che vedono i bambini ogni giorno e ne conoscono le reali necessità. «I genitori insistono che il loro ChatGPT dice che va tutto bene», spiega. «È difficile parlare con chi ha già deciso, perché credono che questa entità esterna sia infallibile».
Agenti AI e richieste impossibili
La diffusione di agenti AI autonomi sta amplificando il problema. Lauren Wilford, manager di un ristorante a Providence, ha visto un cliente normalmente distaccato trasformarsi in un seccatore dell'ultimo minuto, con richieste di podi e attrezzature audio-video non disponibili, salvo poi non menzionare nulla il giorno dell'evento. Wilford sospetta che dietro quelle email ci fosse un agente AI, non una persona. «Sono solidale con chi usa gli agenti AI per compiti burocratici», dice, «ma quando c'è valore nell'incontro tra due esseri umani, rischiamo di perdere qualcosa di importante». Il lancio di strumenti come Muse di Meta non farà che aggravare la situazione, con clienti che pretendono prodotti o funzionalità inesistenti, come segnalato da dipendenti di cinema, bar e Apple Store.
Questa dinamica mette in luce una frattura cognitiva: da un lato, la comodità di un assistente sempre disponibile che non giudica; dall'altro, la difficoltà di accettare che una macchina possa sbagliare. Le aziende tecnologiche continuano a perfezionare i modelli, ma il problema delle allucinazioni resta irrisolto. E mentre i lavoratori dei servizi cercano di mediare con tatto — «Forse il nostro elenco è molto specifico, forse le sta mostrando un vino francese che non abbiamo» — la realtà è che l'autorità dell'AI sta erodendo la fiducia nelle competenze umane. In un contesto in cui il cliente non è sempre esperto, ma crede di esserlo grazie a un chatbot, la sfida per chi lavora sul campo diventa ogni giorno più ardua.
