Quels robots d'IA autoriser dans son robots.txt

C'est le premier réglage à vérifier avant toute stratégie GEO. Un site peut cocher toutes les cases éditoriales et techniques du papier de Princeton, s'il refuse l'accès aux robots qui vont chercher les pages au moment de répondre, il n'apparaîtra jamais. Aucun autre critère n'a cet effet binaire.

Deux familles de robots aux conséquences différentes

La confusion vient de ce que les éditeurs de modèles opèrent plusieurs robots aux missions distinctes, souvent identifiés par des noms proches. La question à se poser n'est pas « est-ce que je veux que l'IA utilise mon contenu », mais « est-ce que je veux apparaître dans ses réponses ».

Ce que coûte réellement chaque blocage

Le raisonnement change selon qu'on regarde le trafic ou la notoriété. Trois éléments de contexte, tous mesurés, aident à trancher.

Le trafic référent est faible mais réel. Similarweb mesure que 6,8 % des réponses de ChatGPT contiennent un lien externe en mai 2026, contre un cinquième de ce niveau un an plus tôt. Le taux monte à 22,6 % dans le voyage et tombe à 4,8 % dans l'éducation. Se couper de ce canal coûte peu aujourd'hui dans certains secteurs, beaucoup dans d'autres.

La mention sans lien compte autant que le lien. C'est le point que le débat sur l'entraînement rate. Être nommé dans une réponse construit une notoriété qui se retrouve ensuite dans les recherches de marque, et le brand search volume est le premier prédicteur mesuré de citation par un modèle selon Digital Bloom. Bloquer un robot de citation coupe les deux à la fois.

Le classement organique ne suffit pas à compenser. Ahrefs mesure que seules 37,9 % des citations des AI Overviews viennent du top 10 Google. Un site bien classé mais fermé aux robots de citation ne récupère pas sa visibilité par la porte organique.

Comment vérifier son propre site

Trois niveaux de vérification, du plus rapide au plus fiable.

1. Lire le fichier. Ouvrir votresite.fr/robots.txt et chercher les huit noms du tableau ci-dessus, ainsi que tout bloc User-agent: * suivi d'un Disallow: /, qui s'applique à tous les robots sans exception nommée.
2. Passer l'URL dans l'analyseur. L'outil d'analyse d'URL de ce site lit le robots.txt du domaine et signale séparément les robots de citation et les robots d'entraînement bloqués.
3. Regarder les logs serveur. C'est le seul niveau qui dit la vérité. Filtrer les user-agents sur les huit noms et vérifier qu'ils passent réellement, avec des codes 200 et non des 403. Un robots.txt ouvert n'empêche pas un pare-feu applicatif, un CDN ou une protection anti-bot de les rejeter en amont. Les mêmes logs donnent au passage le ratio entre pages aspirées et visites renvoyées, robot par robot, qui est l'argument chiffré de la décision de blocage.

Cloudflare bloque par défaut depuis le 15 septembre 2026

Section ajoutée le 19 septembre 2026. Le cas du CDN évoqué plus haut a pris un visage précis. Cloudflare, le CDN le plus répandu, a annoncé le 1^er juillet 2026 de nouveaux réglages par défaut, entrés en vigueur le 15 septembre. Ils ne se lisent pas dans le robots.txt, ils s'appliquent en amont, au niveau du réseau.

Cloudflare classe désormais les robots en trois catégories. Search désigne tout robot qui collecte ou indexe le contenu pour répondre plus tard à des questions dessus, Agent un robot qui agit en temps réel pour le compte d'une personne, Training un robot qui prend le contenu pour entraîner ou affiner un modèle. Sur les nouveaux domaines, sur les nouveaux sites d'un compte existant et sur les comptes gratuits qui n'ont rien modifié avant le 15 septembre, Training et Agent sont bloqués par défaut sur les pages qui affichent de la publicité. Search reste autorisé. Les comptes payants et les comptes qui ont déjà réglé ces options conservent leur configuration.

Le point qui compte pour un site est la règle appliquée aux robots à double usage. Cloudflare écrit que les robots qui combinent recherche et entraînement, Googlebot, Applebot et Bingbot cités en exemple, « seront bloqués par les clients qui ont choisi de bloquer l'entraînement ». C'est donc la règle la plus stricte qui l'emporte. Un site gratuit sous Cloudflare, avec de la publicité, qui n'a touché à rien, peut donc renvoyer un refus à Googlebot depuis le 15 septembre sans qu'une seule ligne de son robots.txt ait changé.

1. Ouvrir le tableau de bord Cloudflare, rubrique de gestion des robots IA, et lire ce que dit chacune des trois catégories pour le domaine. Le réglage vaut par domaine, pas par compte.
2. Décider Training et Agent en connaissance de cause, avec les critères de la section sur ce que coûte chaque blocage. Bloquer l'entraînement reste défendable, mais avec Cloudflare cette décision emporte les robots à double usage.
3. Vérifier Googlebot et Bingbot dans les logs, comme pour les robots IA. Un 403 renvoyé par Cloudflare n'apparaît pas dans les logs de l'hébergeur, il faut lire ceux de Cloudflare ou tester avec le user-agent.
4. Relire le robots.txt géré par Cloudflare si l'option est activée. Cloudflare y ajoute des directives Content-Signal (par exemple search=yes,ai-train=no,use=reference) qui déclarent la même politique aux robots qui les lisent.

Un robots.txt de référence

Pour un site qui veut être cité et accepte l'entraînement, la position la plus simple est de ne rien déclarer de spécifique, puisqu'en l'absence de règle tout est autorisé. Un fichier explicite reste utile pour documenter l'intention.

Pour un éditeur qui veut être cité mais refuse l'entraînement :

User-agent: GPTBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://votresite.fr/sitemap.xml

Les blocs Allow: / sont redondants sur le plan technique, puisque l'absence de règle vaut autorisation. Ils servent à rendre l'intention lisible, et surtout à protéger ces robots d'un User-agent: * restrictif ajouté plus tard par quelqu'un d'autre. Sur un site à plusieurs mains, cette redondance évite des accidents.

Les erreurs qui reviennent

• Un Disallow: / sous User-agent: * hérité d'une préproduction. Il bloque tout, y compris Google. Ça arrive plus souvent qu'on ne croit lors d'une mise en ligne.
• Bloquer Google-Extended en pensant bloquer l'entraînement seul. C'est le jeton qui gouverne aussi les AI Overviews et Gemini.
• Confondre GPTBot et OAI-SearchBot. Le premier est l'entraînement, le second la citation. Les copier-coller trouvés en ligne mélangent régulièrement les deux.
• Croire qu'un noindex suffit. Il concerne l'indexation des moteurs classiques, pas l'accès des robots IA, qui se gouverne dans le robots.txt.
• Oublier que le fichier est déclaratif. Il repose sur le respect volontaire des robots. Il n'a aucune valeur contraignante technique : pour empêcher réellement un accès, il faut une règle serveur.
• Ignorer les réglages du CDN. Depuis le 15 septembre 2026, un site gratuit sous Cloudflare avec de la publicité bloque par défaut l'entraînement et les agents, et ce blocage peut s'étendre à Googlebot. Le robots.txt n'en dit rien.

Ce que ce réglage ne fait pas

• Il ne garantit pas d'être crawlé. Autoriser un robot ne l'oblige pas à passer. Les moteurs choisissent ce qu'ils explorent, en fonction de signaux d'autorité et de fraîcheur.
• Il ne garantit pas d'être cité. L'accès est une condition nécessaire, pas suffisante. Tout ce que couvrent les autres pages de ce site vient ensuite.
• Il n'a pas d'effet rétroactif sur l'entraînement. Un contenu déjà absorbé dans un corpus n'en sort pas parce qu'on ajoute une ligne aujourd'hui.
• La liste des robots bouge. Les noms de user-agents changent, de nouveaux apparaissent. Le tableau ci-dessus est daté du 31 juillet 2026 et demande une relecture périodique.