Nelle prossime settimane OpenAI introdurrà nell'Unione Europea un watermark invisibile nei testi generati da ChatGPT e Codex. La mossa serve a rispettare l'AI Act, che dal 2 agosto impone ai fornitori di rendere identificabili i contenuti prodotti da sistemi di intelligenza artificiale attraverso un sistema leggibile dalle macchine. Il meccanismo si chiama textGrain e, come la soluzione di Anthropic, aggiunge un “segnale statistico” nascosto alle scelte di parole del modello. Un detector lo cerca poi nel testo per stabilire se contenga la filigrana dell'azienda.
Come funziona e i limiti della tecnologia
In pratica, la “filigrana” riconoscibile da textGrain è il modo in cui le parole sono state selezionate per comporre l'output. Anthropic si è mossa prima: ad agosto ha presentato la marcatura dei testi di Claude a livello globale, per tutti i prodotti e l'API, per i modelli rilasciati dopo il 2 agosto, usando come base SynthID for text di Google. OpenAI sostiene che textGrain abbia eguagliato o superato gli altri approcci provati, incluso SynthID, ma avverte che una leggera riscrittura del testo generato potrebbe vanificare il watermark.
Il tasso di falsi positivi è fissato all'1%: su cento testi umani, uno potrebbe essere erroneamente marcato come IA. L'affidabilità di rilevamento aumenta con la lunghezza del testo. Il watermark viene rilevato in circa l'80% dei passaggi da 200 token e nel 95% di quelli da 400, per contenuti come la psicologia. In matematica, dove le parole tra cui scegliere sono poche, i valori scendono al 52% su 300 token e al 61% su 400.
Modifiche minime, crollo del rilevamento
I test sulle modifiche usano risposte in inglese a domande del dataset ELI5. A 200 token, il rilevamento dei testi non modificati è del 66%; con il 10% di parole sostituite scende al 38%. Poiché 200 token corrispondono a circa 140-160 parole, in un testo di 150 parole basta cambiarne 15 per mettere in difficoltà il watermarking. Se i token salgono a 400, la situazione migliora, ma editando sempre il 10% delle parole si arriva solo a un detection rate del 66%. Modificando il 25% delle parole, i valori crollano: 7% a 200 token, 12% a 300, 17% a 400.
Anthropic non ha fornito valutazioni precise, limitandosi a dire che il suo sistema funziona solo su passaggi lunghi e poco su contenuti fattuali o codice, e che una riscrittura completa lo elimina. OpenAI, invece, marca solo il testo “idoneo” di ChatGPT e Codex nell'UE, su tutti i piani, senza impostazione globale al lancio. Nell'API il watermark è opzionale, disattivato di default e disponibile per alcuni modelli. Non chiarisce cosa sia “testo idoneo”, termine legato al Codice di condotta: esclusi testi sotto i 200 token, snippet di codice e casi di editing. Il detector non è pubblico, ma OpenAI accetta candidature per ricercatori e organizzazioni esperte. Il rapporto tecnico sarà aggiornato e la tecnologia potrebbe diventare open source.
