Crawlers IA et robots.txt : lesquels autoriser, lesquels bloquer

Tous les robots des éditeurs de modèles ne servent pas à la même chose. Certains récupèrent une page au moment de répondre, d'autres constituent des corpus d'entraînement. Ils ne se bloquent pas avec les mêmes conséquences.
Bloquer un robot de citation (OAI-SearchBot, PerplexityBot, ClaudeBot, Google-Extended) rend la citation matériellement impossible, quelle que soit la qualité du contenu. C'est le seul réglage réellement éliminatoire en GEO.
Bloquer un robot d'entraînement (GPTBot, Applebot-Extended, meta-externalagent) est un choix éditorial défendable qui n'empêche pas d'être cité.
Le piège le plus courant : bloquer Google-Extended en croyant protéger son contenu de l'entraînement, et se couper des AI Overviews au passage.
Un robots.txt ouvert ne garantit rien : un pare-feu applicatif ou un CDN peut bloquer les mêmes robots en amont, sans que rien n'apparaisse dans le fichier. Seuls les logs le disent.

C'est le premier réglage à vérifier avant toute stratégie GEO, et c'est celui que presque personne ne regarde. Un site peut cocher toutes les cases éditoriales et techniques du papier de Princeton, s'il refuse l'accès aux robots qui vont chercher les pages au moment de répondre, il n'apparaîtra jamais. Aucun autre critère n'a cet effet binaire.

Deux familles de robots, deux conséquences

La confusion vient de ce que les éditeurs de modèles opèrent plusieurs robots aux missions distinctes, souvent identifiés par des noms proches. La question à se poser n'est pas « est-ce que je veux que l'IA utilise mon contenu », mais « est-ce que je veux apparaître dans ses réponses ».

Robot	Opérateur	Rôle	Effet si bloqué
`OAI-SearchBot`	OpenAI	Récupération pour ChatGPT Search	Le site sort des réponses de ChatGPT Search
`PerplexityBot`	Perplexity	Index web propre de Perplexity	Le site sort de l'index et des réponses Perplexity
`ClaudeBot`	Anthropic	Récupération pour Claude	Le site sort des réponses de Claude
`Google-Extended`	Google	Grounding de Gemini et des AI Overviews	Le site sort des AI Overviews et de Gemini
`ChatGPT-User`	OpenAI	Visite déclenchée par un utilisateur	Les liens ouverts depuis ChatGPT échouent
`GPTBot`	OpenAI	Constitution de corpus d'entraînement	Aucun effet sur la citation
`Applebot-Extended`	Apple	Entraînement Apple Intelligence	Aucun effet sur la citation
`meta-externalagent`	Meta	Entraînement des modèles Meta	Aucun effet sur la citation

Le cas Google-Extended mérite une attention particulière. Son nom laisse penser à une extension du crawl Google classique, et beaucoup l'ont ajouté en Disallow par réflexe défensif au moment des débats sur l'entraînement. Or c'est le jeton qui gouverne l'usage du contenu par Gemini et par les AI Overviews. Le bloquer ne retire pas le site de l'index Google classique, mais il le retire des réponses génératives de Google, qui sont désormais présentes sur une large part des recherches. Pour un éditeur français, la question s'est posée concrètement au moment du déploiement du 22 juillet 2026.

Ce que coûte réellement chaque blocage

Le raisonnement change selon qu'on regarde le trafic ou la notoriété. Trois éléments de contexte, tous mesurés, aident à trancher.

Le trafic référent est faible mais réel. Similarweb mesure que 6,8 % des réponses de ChatGPT contiennent un lien externe en mai 2026, contre un cinquième de ce niveau un an plus tôt. Le taux monte à 22,6 % dans le voyage et tombe à 4,8 % dans l'éducation. Se couper de ce canal coûte peu aujourd'hui dans certains secteurs, beaucoup dans d'autres.

La mention sans lien compte autant que le lien. C'est le point que le débat sur l'entraînement rate. Être nommé dans une réponse construit une notoriété qui se retrouve ensuite dans les recherches de marque, et le brand search volume est le premier prédicteur mesuré de citation par un modèle selon Digital Bloom. Bloquer un robot de citation coupe les deux à la fois.

Le classement organique ne suffit pas à compenser. Ahrefs mesure que seules 37,9 % des citations des AI Overviews viennent du top 10 Google. Un site bien classé mais fermé aux robots de citation ne récupère pas sa visibilité par la porte organique.

Le cas où bloquer se défend. Un éditeur dont le contenu est le produit, et qui n'attend rien du trafic référent IA, a une raison légitime de refuser l'entraînement. Le débat sur la rémunération des contenus est réel, plusieurs grands éditeurs l'ont porté, et rien n'oblige à alimenter gratuitement un corpus. La distinction reste la même : refuser l'entraînement en gardant les robots de citation ouverts permet de tenir cette position sans disparaître des réponses.

Comment vérifier son propre site

Trois niveaux de vérification, du plus rapide au plus fiable.

Lire le fichier. Ouvrir votresite.fr/robots.txt et chercher les huit noms du tableau ci-dessus, ainsi que tout bloc User-agent: * suivi d'un Disallow: /, qui s'applique à tous les robots sans exception nommée.
Passer l'URL dans l'analyseur. L'outil d'analyse d'URL de ce site lit le robots.txt du domaine et signale séparément les robots de citation et les robots d'entraînement bloqués.
Regarder les logs serveur. C'est le seul niveau qui dit la vérité. Filtrer les user-agents sur les huit noms et vérifier qu'ils passent réellement, avec des codes 200 et non des 403. Un robots.txt ouvert n'empêche pas un pare-feu applicatif, un CDN ou une protection anti-bot de les rejeter en amont. Les mêmes logs donnent au passage le ratio entre pages aspirées et visites renvoyées, robot par robot, qui est l'argument chiffré de la décision de blocage.

Le piège du blocage invisible. C'est le scénario le plus fréquent chez les sites qui ne comprennent pas leur absence des réponses IA. Le robots.txt est impeccable, et une règle de sécurité côté hébergeur renvoie un 403 à tout user-agent inconnu. Rien ne l'indique côté public. Seuls les logs, ou un test avec le user-agent concerné, permettent de le voir.

Un robots.txt de référence

Pour un site qui veut être cité et accepte l'entraînement, la position la plus simple est de ne rien déclarer de spécifique : en l'absence de règle, tout est autorisé. Un fichier explicite reste utile pour documenter l'intention.

Pour un éditeur qui veut être cité mais refuse l'entraînement :

User-agent: GPTBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://votresite.fr/sitemap.xml

Les blocs Allow: / sont redondants sur le plan technique, puisque l'absence de règle vaut autorisation. Ils servent à rendre l'intention lisible, et surtout à protéger ces robots d'un User-agent: * restrictif ajouté plus tard par quelqu'un d'autre. Sur un site à plusieurs mains, cette redondance évite des accidents.

Les erreurs qui reviennent

Un Disallow: / sous User-agent: * hérité d'une préproduction. Il bloque tout, y compris Google. Ça arrive plus souvent qu'on ne croit lors d'une mise en ligne.
Bloquer Google-Extended en pensant bloquer l'entraînement seul. C'est le jeton qui gouverne aussi les AI Overviews et Gemini.
Confondre GPTBot et OAI-SearchBot. Le premier est l'entraînement, le second la citation. Les copier-coller trouvés en ligne mélangent régulièrement les deux.
Croire qu'un noindex suffit. Il concerne l'indexation des moteurs classiques, pas l'accès des robots IA, qui se gouverne dans le robots.txt.
Oublier que le fichier est déclaratif. Il repose sur le respect volontaire des robots. Il n'a aucune valeur contraignante technique : pour empêcher réellement un accès, il faut une règle serveur.

Ce que ce réglage ne fait pas

Il ne garantit pas d'être crawlé. Autoriser un robot ne l'oblige pas à passer. Les moteurs choisissent ce qu'ils explorent, en fonction de signaux d'autorité et de fraîcheur.
Il ne garantit pas d'être cité. L'accès est une condition nécessaire, pas suffisante. Tout ce que couvrent les autres pages de ce site vient ensuite.
Il n'a pas d'effet rétroactif sur l'entraînement. Un contenu déjà absorbé dans un corpus n'en sort pas parce qu'on ajoute une ligne aujourd'hui.
La liste des robots bouge. Les noms de user-agents changent, de nouveaux apparaissent. Le tableau ci-dessus est daté du 31 juillet 2026 et demande une relecture périodique.

Pour aller plus loin sur le site :

L'analyseur d'URL. Il teste le robots.txt du domaine et distingue les deux familles de robots.
Comment fonctionne le RAG. Pourquoi ces robots existent et à quel moment ils interviennent.
Comment Perplexity choisit ses sources, le moteur qui maintient son propre index.
Comment les AI Overviews choisissent leurs sources.
Le guide llms.txt, l'autre fichier à la racine, et ce qu'il vaut réellement.
La définition courte dans le glossaire.

L'auteur de cette page

Josselin Leydier

Éditeur de sites et consultant SEO, spécialisé en GEO. Drôme, France.

Josselin Leydier a mis en ligne son premier site en 2006 et en édite aujourd'hui environ 200, qui lui servent de terrain de test en conditions réelles. Il est consultant SEO senior chez Semjuice. Il tient LLM-GEO.fr, une bibliothèque d'études sur le GEO où chaque chiffre est vérifié dans sa source primaire avant d'être relayé, et où les limites de chaque étude sont documentées.

En savoir plus sur l'auteur · Le contacter · Toutes les études GEO