OpenAI, Google, Microsoft e Anthropic hanno annunciato l'adozione di un nuovo standard che consentirà agli editori di esprimere le proprie preferenze sull'addestramento dei modelli di intelligenza artificiale in modo centralizzato. Il meccanismo, proposto da Kevin Kelley, technical lead per gli standard di Anthropic, è stato presentato all'Internet Engineering Task Force (IETF) e prevede l'inserimento di un 'policy token' all'interno del file robots.txt di un sito web. Questo file, da sempre utilizzato per indicare ai crawler quali pagine possono essere scansionate, diventerà così lo strumento unico per comunicare le proprie preferenze a tutte le aziende di IA contemporaneamente.
Un segnale condiviso per fermare i crawler
Attualmente, gli editori sono costretti a segnalare le proprie preferenze di addestramento separatamente a ciascuna azienda di IA, con un notevole dispendio di risorse. Il nuovo standard mira a semplificare questo processo: basterà inserire il token condiviso nel robots.txt per essere riconosciuti da tutti i crawler che lo supportano. Anthropic ha già adottato il segnale, mentre Google e Microsoft hanno pianificato il supporto per il prossimo anno. OpenAI, dal canto suo, implementerà la funzionalità nei prossimi mesi. L'obiettivo è ridurre la frammentazione e offrire agli editori un controllo più efficace sull'utilizzo dei propri contenuti.
Controlli granulari e alternative in campo
Microsoft ha precisato che offrirà controlli più granulari, consentendo agli editori di scegliere se opporsi all'addestramento IA o all''AI grounding', ovvero il processo con cui un modello viene indirizzato verso fonti verificate per ridurre le allucinazioni. In ogni caso, i siti continueranno a comparire nei risultati di ricerca di Bing indipendentemente dalle preferenze espresse. Nel frattempo, altre iniziative stanno emergendo per contrastare lo scraping non autorizzato: lo standard Really Simple Licensing (RSL) permette agli editori di richiedere un compenso ai crawler, mentre Cloudflare blocca per impostazione predefinita i crawler di IA.
La mossa delle big tech arriva in un momento di crescente tensione tra editori e aziende di IA. Con l'aumento esponenziale dei crawler che alimentano i modelli, la necessità di strumenti chiari e condivisi è sempre più urgente. Il nuovo standard rappresenta un passo avanti verso un ecosistema più trasparente, anche se la sua efficacia dipenderà dall'adozione capillare da parte di tutti gli operatori del settore.
