Google, Microsoft, OpenAI e Anthropic hanno annunciato il 30 ottobre il sostegno a un segnale comune nel robots.txt per indicare se i contenuti di un sito possono servire ad addestrare i modelli di AI generativa. Basterà un solo gruppo di regole, invece di uno per ogni crawler. La proposta nasce nel gruppo di lavoro AIPREF dell'IETF. Il supporto però non è ancora attivo e le date annunciate arrivano fino al 2027.
La regola da scrivere nel robots.txt
La sintassi è descritta in una bozza depositata all'IETF da Kevin Kelley, responsabile tecnico per gli standard di Anthropic, e non introduce nuove direttive. Si usa un normale gruppo del robots.txt in cui la riga User-Agent riporta, al posto del nome di un crawler, il policy token __usage_ai-training, seguito dalle consuete regole Allow e Disallow. L'esempio ufficiale esclude dall'addestramento l'intero sito tranne la cartella /press-kit/.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Secondo la bozza, il gruppo jolly User-Agent: * non va considerato valido per il token e, se nel file manca una riga dedicata, nessuna preferenza risulta espressa. Il token non è nemmeno un'istruzione sul crawling: chi vuole limitare l'accesso dei bot deve continuare a usare le regole per i singoli crawler. Le regole specifiche di un'azienda possono avere la precedenza e gli accordi privati possono superare la preferenza indicata.
Addestramento, ricerca e risposte AI: cosa copre
Google spiega che, se un sito usa il token per negare l'addestramento senza indicare esplicitamente Google-Extended, lo tratterà come se il gestore avesse bloccato Google-Extended, il controllo per l'AI che offre dal 2023. I controlli delle singole aziende continueranno a funzionare accanto al segnale comune e, precisa Google, i siti che consentono esplicitamente Google-Extended possono comparire nelle risposte delle app Gemini e ricevere clic tramite il grounding.
Microsoft tiene invece separate le due cose. La preferenza sull'addestramento si esprime nel robots.txt per l'intero sito o per un percorso e può essere modificata pagina per pagina, mentre quella sul grounding, cioè l'uso dei contenuti per costruire le risposte di Copilot o delle funzioni AI di Bing, è un'impostazione distinta a livello di singola pagina. Nessuna delle due scelte, assicura l'azienda, cambia l'idoneità a comparire nei risultati di Bing.
Le date e chi resta fuori
Microsoft rispetterà le nuove preferenze dal 1° febbraio 2027 durante la scansione e invita chi usa i vecchi tag NoArchive e NoCache a passare ai nuovi controlli entro il 1° marzo 2027. Google punta a supportare il segnale nel corso del 2027, mentre OpenAI parla dei prossimi mesi e conferma che i controlli già esistenti per i suoi crawler resteranno validi. Per Anthropic, secondo un messaggio di Kelley al gruppo di lavoro, lo sviluppo è stato avviato.
Il segnale resta volontario e riguarda solo chi aderisce: Meta ha espresso apprezzamento per l'iniziativa senza dire se la rispetterà. Microsoft precisa che le preferenze valgono per l'addestramento futuro, mentre nessuno degli annunci indica che cosa accadrà ai dati già raccolti. La bozza, infine, copre soltanto i modelli generativi e non ha ancora lo status di standard ufficiale dell'IETF.