Robots.txt : quatre acteurs de l’IA promettent de respecter un même refus d’entraînement

Le 30 octobre 2026, Google, Microsoft, Anthropic et OpenAI ont annoncé qu’ils respecteraient une même ligne du fichier robots.txt pour refuser l’entraînement de leurs intelligences artificielles (IA). Ce petit fichier texte, placé à la racine d’un site web, indique aux robots d’exploration ce qu’ils peuvent visiter. Pour une association, une TPE ou un particulier qui publie un site, exprimer ce refus devient plus simple. Le signal reste pourtant facultatif, tardif chez plusieurs signataires et sans effet sur les modèles déjà entraînés.

Jusqu’ici, un éditeur qui refuse l’entraînement sur ses données doit viser chaque robot séparément, rappelle Next dans son analyse publiée le 6 novembre 2026. Chaque entreprise a son propre nom : GPTBot chez OpenAI, Google-Extended chez Google. Le nouveau jeton, un mot-clé baptisé « __usage_ai-training », remplace cette liste par une seule entrée, lue par tous les acteurs qui s’y engagent. Un même refus vaut alors pour plusieurs plateformes à la fois.

Ce jeton est défini dans un brouillon soumis à l’IETF, l’organisme qui élabore les normes techniques d’Internet. Son auteur, Kevin Kelley, est ingénieur chez Anthropic. Le texte n’invente aucune nouvelle commande : le jeton prend la place du nom d’un robot sur la ligne « User-Agent », puis viennent les chemins refusés ou permis. C’est une contribution individuelle, que l’IETF n’a pas approuvée et qui n’a aucune valeur formelle dans son processus de normalisation.

Des calendriers en ordre dispersé

Les quatre entreprises n’avancent pas au même rythme. Au 2 novembre 2026, Anthropic prenait déjà en charge le jeton, d’après le site d’actualités Resultsense. OpenAI promet de s’y mettre dans les prochains mois et maintient ses contrôles actuels. Google vise une prise en charge en 2027, avec d’autres fournisseurs d’IA. Microsoft fixe l’entrée en vigueur de ses nouvelles préférences au 1er février 2027, au fil du passage de ses robots.

Google ajoute une règle de conversion. Un site qui refuse l’entraînement avec le jeton commun sera traité comme s’il avait refusé Google-Extended, le contrôle maison du moteur. Or les sites qui autorisent explicitement Google-Extended peuvent apparaître dans les réponses des applications Gemini et recevoir des clics, indique son blog pour développeurs. Qui tient à cette visibilité doit donc examiner ce point avant de modifier son fichier.

Microsoft distingue de son côté deux usages sur le blog de Bing. L’entraînement modifie les paramètres appris d’un modèle d’IA générative. L’« ancrage », lui, fournit un contenu en entrée pour nourrir une réponse rédigée par l’IA. Faute de règle publiée, les deux usages restent autorisés par défaut. Ces préférences remplaceront les anciennes balises NoArchive et NoCache, sans modifier l’admissibilité aux résultats classiques de Bing.

Les éditeurs ne devraient pas avoir à choisir entre être visibles dans Bing et décider de la manière dont les modèles génératifs utilisent leur travail.

Un signal sans contrôle ni sanction

Le dispositif a des limites de taille, que relève Next. Il est déclaratif et ne lie que les fournisseurs qui s’y engagent ; or Apple, Amazon et Meta ne l’ont pas fait. Il ne concerne que les contenus récupérés après son ajout et ne retire rien des modèles déjà entraînés. Le brouillon va dans le même sens : seules comptent les préférences du fichier en vigueur au moment de la collecte. Enfin, rien n’est prévu pour contrôler ni sanctionner. Un éditeur n’a aucun moyen de vérifier qu’un contenu refusé n’a pas servi.

Deux détails techniques peuvent piéger les administrateurs. Le groupe générique, qui désigne tous les robots par une étoile, ne vaut pas refus d’entraînement : il faut nommer le jeton explicitement. Celui-ci ne règle pas non plus l’exploration du site par les robots. Des accords privés peuvent en outre primer sur ces préférences. Côté Microsoft, aucun choix ne garantit l’inclusion, le trafic ou une rémunération.

Que faire sur son site

Contre les robots qui n’en tiennent pas compte, le fichier ne suffit pas : rien n’oblige ceux qui ignorent déjà robots.txt à lire le jeton, souligne Next. Un outil libre peut prendre le relais : Anubis, publié sous licence MIT. Ce pare-feu pour le web soumet chaque connexion à une ou plusieurs épreuves afin d’arrêter les robots d’IA. Son dépôt le qualifie lui-même de réponse radicale : il peut bloquer de petits robots et gêner des robots utiles, comme celui d’Internet Archive. À notre avis, il s’adresse surtout aux sites dont on administre soi-même le serveur.

Pour un site de TPE, d’association ou de particulier, ajouter le groupe « __usage_ai-training » suivi d’un refus général tient en deux lignes et ne coûte rien. Ce groupe ne remplace pas encore les règles écrites pour chaque robot : tant que Google, Microsoft et OpenAI n’appliquent pas le jeton, mieux vaut les conserver. Si votre visibilité dans Gemini compte, vérifiez d’abord l’effet du changement sur Google-Extended. Les sites qui comptent sur NoArchive ou NoCache auprès de Microsoft doivent publier leurs nouvelles préférences d’ici au 1er mars 2027. Dans la mesure de nos disponibilités, nous pouvons aider à relire un fichier robots.txt, dans le cadre de notre accompagnement bénévole et gratuit.