Kevin Kelley, responsabile tecnico per gli standard di Anthropic, ha presentato alla IETF (Internet Engineering Task Force) una proposta destinata a semplificare la vita degli editori online. L'obiettivo è introdurre un'istruzione unica nel file robots.txt capace di bloccare in un colpo solo tutti i crawler AI, eliminando la necessità di inserire righe separate per ogni provider. La proposta gode già del sostegno di OpenAI, Google, Microsoft e Meta.
Come funziona il nuovo standard
Attualmente, per impedire l'accesso ai contenuti del sito, i gestori devono cercare i nomi dei crawler, verificare eventuali cambi di denominazione e aggiornare manualmente il file di testo per ciascun provider. Con la soluzione proposta da Kelley basterà inserire due righe nel robots.txt: User-Agent: __usage_ai-training e Disallow: /. Le istruzioni precedenti resteranno comunque valide, permettendo agli editori di bloccare tutti i crawler tranne quelli specifici, come Google-Extended o GPTBot.
Tempistiche e adesioni
Anthropic ha già adottato il nuovo standard. Il supporto da parte di Google e Microsoft è atteso per l'inizio del 2027, mentre OpenAI ha annunciato l'implementazione nei prossimi mesi. Meta non ha invece fissato alcuna scadenza. Microsoft ha inoltre anticipato controlli più granulari: dal 1 marzo 2027 sarà possibile specificare preferenze distinte per l'addestramento dei modelli e per il grounding, la capacità dell'AI di ancorarsi a fonti affidabili per ridurre le allucinazioni.
Google sottolinea che lo standard rispetta il codice di condotta per i modelli general purpose previsto dall'AI Act europeo. Resta però un limite sostanziale: l'adesione non è obbligatoria e alcuni provider potrebbero continuare ad accedere ai contenuti senza rispettare le indicazioni degli editori.
