Kevin Kelley, responsabile tecnico per gli standard di Anthropic, ha depositato alla IETF (Internet Engineering Task Force) una proposta destinata a semplificare la vita degli editori online. L'idea è permettere di bloccare tutti i crawler AI con una singola istruzione nel file robots.txt, eliminando la necessità di inserire righe separate per ogni provider. La proposta gode già del sostegno di OpenAI, Google, Microsoft e Meta.
Come funziona la nuova direttiva
Oggi chi vuole impedire l'accesso ai propri contenuti deve cercare i nomi dei crawler, verificare se il provider li modifica e aggiornare continuamente il file di testo. Per bloccare lo scraping non autorizzato basterà inserire nel robots.txt la riga User-Agent: __usage_ai-training seguita da Disallow: /. Le istruzioni precedenti restano valide: un editore potrà ad esempio escludere tutti i crawler tranne Google-Extended o GPTBot.
Tempistiche e conformità all'AI Act
Anthropic ha già adottato la nuova istruzione. Google e Microsoft prevedono il supporto all'inizio del 2027, mentre OpenAI ha annunciato l'implementazione nei prossimi mesi. Meta non ha fissato scadenze. Microsoft introdurrà dal 1 marzo 2027 controlli più granulari, con preferenze distinte per addestramento e grounding. Google sottolinea che lo standard rispetta il codice di condotta per i modelli general purpose dell'AI Act europeo, anche se il rispetto resta volontario: alcuni provider continuano ad accedere ai contenuti indipendentemente dalle direttive.
