Le 30 octobre 2026, OpenAI, Google, Microsoft et Anthropic ont annoncé qu’ils honoreraient un signal commun dans robots.txt. Un seul groupe User-Agent: __usage_ai-training suffit désormais à exprimer un refus d’entraînement, au lieu d’une règle par crawler à chaque nouveau bot.

User-Agent: __usage_ai-training
Disallow: /

Le signal vient d’un Internet-Draft IETF, draft-kelley-aipref-training-preference-signal-00, déposé le même jour par Kevin Kelley, technical lead standards chez Anthropic. Le draft est explicite : aucune nouvelle directive, aucune nouvelle grammaire. On réutilise les groupes robots.txt existants — chemins, longest-match, structure — avec un token de politique par usage.

Qui applique quoi, et quand

Personne n’est aligné sur la même date.

  • OpenAI implémentera le signal « dans les prochains mois », sans date ferme. Ses contrôles existants (GPTBot, OAI-SearchBot) restent en place.
  • Google vise 2027. John Mueller précise : poser le token sans mentionner Google-Extended équivaudra à un refus de Google-Extended. L’autoriser explicitement garde l’éligibilité au grounding dans Gemini Apps.
  • Microsoft applique à partir du 1er février 2027, avec une deadline au 1er mars 2027.
  • Anthropic, auteur du draft, a déjà adopté le signal selon The Verge.

Microsoft va plus loin, et c’est le vrai changement

Bing sépare training et grounding (citer votre contenu comme source) en deux préférences indépendantes.

AI Training se règle dans robots.txt ou au niveau de la page (<meta name="Bingbot" content="ai-training:disallow">, ou l’en-tête X-Robots-Tag). La préférence de page écrase celle du fichier.

AI Grounding est page uniquement, avec trois valeurs : Allow (défaut), Disallow, et un nouveau DisallowExtended qui limite l’usage aux surfaces Microsoft (AI Mode, AI Overview, Copilot, Microsoft 365) et exclut les services de grounding revendus à des tiers, comme Web IQ et l’API Foundry.

Ces préférences remplacent NoArchive et NoCache. Si votre site les utilise encore, republiez vos réglages avant le 1er mars 2027, avec une préférence de transition dans Bing Webmaster Tools dès le 15 décembre 2026.

Pourquoi c’est important

Refuser l’entraînement IA, c’était jusqu’ici tenir une liste de user-agents qui grossit à chaque nouveau modèle. Un token unique déplace la charge côté labos.

Deuxième raison : le débat quitte la bonne volonté pour un vocabulaire partagé. L’IETF travaille sur AIPREF depuis plus d’un an, et Google note la cohérence avec le Code of Practice GPAI de l’UE.

Ce que ça implique pour les devs

Un seul acteur dit avoir implémenté le signal. Poser le token ne change rien tant que les crawlers ne le lisent pas — et Microsoft précise que ces préférences régissent l’usage, pas l’accès au crawl : un Allow ne contourne pas un Disallow sur Bingbot.

robots.txt reste une convention, sans application ni sanction automatique. Ceux qui ignorent déjà les signaux ignoreront celui-ci. Si votre contenu a de la valeur, la barrière réelle reste réseau : WAF, filtrage CDN, vérification d’IP.

Le grounding est le nouveau curseur. Bloquer l’entraînement ne vous sort pas des réponses générées, et l’inverse est vrai. La question n’est plus « IA oui ou non » mais « cité, ou invisible ».

Source