Combien chaque IA vous prend, combien elle vous rend

La question posée par cette métrique est brutale et elle est légitime : un robot passe des milliers de fois sur un site, consomme de la bande passante, et le site voit passer quarante visites en retour. Elle mérite un chiffre plutôt qu'une intuition. Ce qui suit décrit comment l'obtenir, avec Clarity ou sans, et surtout comment le lire sans lui faire dire ce qu'il ne dit pas.

Ce que le ratio mesure exactement

La définition de référence est celle de Cloudflare, qui a publié la métrique sur Radar le 1^er juillet 2025. Elle divise deux volumes de requêtes HTML : d'un côté les requêtes venant des user-agents d'une plateforme, de l'autre les requêtes de pages dont l'en-tête Referer contient un nom d'hôte de cette même plateforme.

Deux précisions comptent avant de regarder le moindre chiffre. La première : le numérateur et le dénominateur ne mesurent pas la même population. Le numérateur compte des robots, le dénominateur compte des humains. Rien ne garantit que les pages aspirées et les pages visitées soient les mêmes, ni que le robot qui a lu la page soit celui de la plateforme qui a envoyé le visiteur.

La seconde : un même « opérateur » opère plusieurs robots aux finalités opposées. Anthropic en documente trois depuis février 2026, ClaudeBot pour l'entraînement, Claude-User pour les récupérations déclenchées par un utilisateur, Claude-SearchBot pour l'indexation. Un ratio agrégé au niveau « Anthropic » additionne un robot qui ne renverra jamais de visite avec un robot dont c'est justement le rôle. La distinction est développée dans notre guide sur les crawlers IA et le robots.txt, et elle change complètement la lecture du chiffre.

Les ordres de grandeur, et pourquoi le secteur change tout

Cloudflare voit passer une part significative du trafic web mondial, ce qui en fait la seule source publique capable de donner des ratios par opérateur. Voici ce que son réseau mesurait sur le premier semestre 2025, le jeu de données le plus complet publié à ce jour.

Source : Cloudflare, The crawl-to-click gap, 29 août 2025. Valeurs arrondies ; les variations affichées par Cloudflare sont calculées sur les valeurs non arrondies.

Le second enseignement de ces données est plus utile encore pour qui veut se comparer : le ratio dépend massivement du secteur. Sur la même semaine, le même opérateur affiche des valeurs qui varient d'un facteur 20 selon le type de site mesuré.

Source : Cloudflare, A deeper look at AI crawlers, 28 août 2025, semaine du 1^er au 7 août 2025.

Un site de presse est vingt fois mieux traité qu'un site moyen par le même robot. La conséquence pratique est nette : il n'existe pas de bon ratio universel, et un chiffre lu dans un article américain ne constitue pas un point de comparaison pour un site français de niche. Le seul repère qui vaille est votre propre série dans le temps.

Reste l'explication de fond. Cloudflare a mesuré que sur le mois de juillet 2025, environ 80 % des requêtes de robots IA servaient l'entraînement, contre moins de 5 % pour la recherche et moins de 5 % pour les récupérations déclenchées par un utilisateur. La partie du crawl susceptible de produire un lien cliquable est donc structurellement minoritaire. S'y ajoute le fait que la réponse est rendue sur place : Similarweb mesure que 6,8 % seulement des réponses de ChatGPT contenaient un lien externe en mai 2026. Un ratio à quatre chiffres n'est pas l'anomalie d'un site, c'est le fonctionnement normal du canal.

Ce que Microsoft Clarity ajoute, et à quelle condition

Jusqu'ici, ces chiffres n'existaient qu'au niveau du réseau Cloudflare, pour l'ensemble du web. La carte publiée par Microsoft le 13 août 2026 les descend à l'échelle d'un site, gratuitement, dans un outil que beaucoup ont déjà installé.

La carte AI Scrape-to-Referral Ratio se trouve dans Dashboards > AI Visibility > Bot Activity. Elle affiche le ratio global du site puis un classement des opérateurs, du plus généreux au plus extractif. Trois choses la distinguent d'un simple compteur :

• Le passage du chiffre aux sessions. Un clic depuis la carte ouvre l'onglet Recordings avec le filtre déjà posé sur la source IA sélectionnée. On passe du volume à la qualité : est-ce que ces quarante visites lisent la page, remplissent un formulaire, repartent aussitôt ?
• Le contrôle de couverture de domaine. Clarity signale les écarts entre les domaines couverts par la collecte de logs et ceux couverts par la balise analytics. C'est le garde-fou le plus utile de la carte : un ratio calculé avec un numérateur qui couvre tout le site et un dénominateur qui n'en couvre qu'une partie est faux, et la plupart des calculs maison tombent dans ce piège sans le voir.
• La classification par rôle de robot. Le tableau de bord regroupe les requêtes selon la finalité du robot (recherche, assistant IA, services de données, outils de développement), ce qui permet de ne pas mélanger l'entraînement et la citation dans le même chiffre.

Second point à connaître avant de brancher quoi que ce soit : Clarity ne facture rien, votre hébergeur peut le faire. Microsoft documente les postes de coût induits par la collecte de logs, et ils ne sont pas symboliques selon les fournisseurs. Chez Cloudflare, la fonction LogPush est réservée aux offres payantes et facturée à l'usage. Chez Amazon CloudFront, l'addition mélange le volume de requêtes, l'ingestion Data Firehose, la livraison HTTP et le stockage S3 des logs en échec. Chez Fastly, le volume de requêtes et la livraison de logs. Akamai est le seul pour lequel Microsoft indique une absence de coût supplémentaire, et WordPress un impact négligeable.

Clarity n'est d'ailleurs pas seul sur ce terrain. Cloudflare a sorti le 1^er juillet 2026 son propre tableau de bord Attribution Business Insights, qui calcule le ratio crawl-to-referral par opérateur et classe les robots selon leur fonction, entraînement, recherche ou agent. Les deux outils regardent la même réalité depuis deux points de vue différents : le CDN voit tout le trafic mais ne sait rien du comportement du visiteur, la balise analytics voit le comportement mais ne voit aucun robot. Clarity est le premier à recoller les deux moitiés dans une seule interface.

Le calculer soi-même, sans CDN et sans outil

Si l'intégration CDN est hors de portée, le ratio se calcule à la main. Il ne demande qu'une chose : l'accès aux logs bruts du serveur, que tous les hébergeurs mutualisés français fournissent, souvent dans un dossier logs/ à la racine du compte. Le script ci-dessous lit un journal au format combined (Apache et Nginx par défaut) et sort le ratio par opérateur.

awk '
  # Format combined : $7 = URL, $11 = referer, $12 et suivants = user-agent.
  # On ignore les fichiers statiques : seules les pages comptent.
  $7 ~ /\.(css|js|png|jpe?g|webp|svg|gif|ico|woff2?|mp4|pdf|xml)(\?|$)/ { next }
  {
    ua = ""
    for (i = 12; i <= NF; i++) ua = ua " " $i

    if      (ua ~ /GPTBot|OAI-SearchBot|ChatGPT-User/)      crawl["OpenAI"]++
    else if (ua ~ /ClaudeBot|Claude-User|Claude-SearchBot/) crawl["Anthropic"]++
    else if (ua ~ /PerplexityBot|Perplexity-User/)          crawl["Perplexity"]++
    else if (ua ~ /MistralAI-User/)                         crawl["Mistral"]++
    else if (ua ~ /meta-externalagent/)                     crawl["Meta"]++

    if      ($11 ~ /chatgpt\.com|openai\.com/)  refer["OpenAI"]++
    else if ($11 ~ /claude\.ai/)                refer["Anthropic"]++
    else if ($11 ~ /perplexity\.ai/)            refer["Perplexity"]++
    else if ($11 ~ /mistral\.ai/)               refer["Mistral"]++
    else if ($11 ~ /meta\.ai/)                  refer["Meta"]++
  }
  END {
    for (k in refer) if (!(k in crawl)) crawl[k] = 0
    printf "%-12s %8s %8s %12s\n", "OPERATEUR", "CRAWLS", "VISITES", "RATIO"
    for (k in crawl)
      printf "%-12s %8d %8d %12s\n", k, crawl[k], refer[k],
             (refer[k] ? sprintf("%d:1", crawl[k] / refer[k]) : "0 visite")
  }
' access.log

Sur un mois de logs, la sortie tient en cinq lignes et donne une base de comparaison qui vaut celle de n'importe quel outil, à condition de connaître les cinq pièges qui la faussent.

1. Les user-agents se déclarent, ils ne se prouvent pas. N'importe quel script peut s'annoncer GPTBot. Les opérateurs sérieux publient leurs plages d'adresses IP ; sans vérification inverse, le numérateur est un plafond, pas une mesure. Sur un site à faible trafic, un seul aspirateur déguisé suffit à multiplier le ratio par dix.
2. Le referer manque là où il compte. Une visite venue d'une application mobile ou d'un client de bureau arrive souvent sans en-tête Referer, et tombe dans le trafic direct. Cloudflare le reconnaît explicitement pour ses propres chiffres : les ratios publiés surestiment le déséquilibre. Le dénominateur est donc un plancher.
3. Google est incalculable par cette méthode. Une visite venue d'un AI Overview arrive avec un referer google.com, indiscernable d'un clic organique classique. Et côté crawl, le grounding de Gemini emprunte des robots qui servent aussi la recherche. Le 5:1 de Google n'est pas comparable aux autres lignes du tableau.
4. Le blocage en amont ne se voit pas dans le journal. Si un pare-feu applicatif renvoie un 403 aux robots IA avant le serveur web, le ratio sortira excellent pour une raison qui n'a rien de bon. Il faut regarder les codes de réponse, pas seulement le nombre de lignes.
5. Un mois de logs est un minimum. Le crawl d'entraînement arrive par vagues, sans régularité. Une semaine choisie au hasard peut contenir un passage massif ou aucun.

Lire le chiffre sans se tromper de conclusion

C'est le point où la métrique devient dangereuse, parce qu'elle est belle. Un ratio de 6 000:1 raconte une histoire immédiatement lisible, et la conclusion qu'on en tire spontanément, « bloquons ces robots », ne découle pas du chiffre.

Ce que le ratio ignore par construction, c'est la mention sans lien. Être nommé dans une réponse sans être cliqué ne produit aucune ligne au dénominateur, et produit pourtant l'essentiel de la valeur : une notoriété qui se retrouve ensuite dans les recherches de marque, premier prédicteur mesuré de citation par un modèle selon Digital Bloom. Un site dont le nom circule dans des milliers de réponses ChatGPT sans jamais être cliqué aura un ratio catastrophique et une stratégie GEO réussie. C'est exactement le scénario décrit dans notre guide de mesure de la visibilité IA, sous le nom de trafic sombre.

Le ratio mélange aussi des robots qu'il faut juger séparément. Un ratio dégradé par ClaudeBot ou GPTBot pose une question de rémunération de l'entraînement, question légitime et politique. Un ratio dégradé par OAI-SearchBot ou Claude-User pose une question toute différente, puisque ces robots-là sont précisément ceux qui produisent les citations. Bloquer les seconds pour punir les premiers revient à sortir des réponses IA pour protester contre elles. La ventilation par robot, que Clarity et Cloudflare proposent tous deux, est donc la partie utile du tableau de bord, pas le chiffre agrégé mis en avant.

Enfin, le ratio ne mesure pas un coût. Le déséquilibre choque parce qu'il est présenté comme une extraction, mais 6 000 requêtes sur un mois représentent quelques centaines de mégaoctets et aucune charge perceptible pour un site ordinaire. La question du coût réel se pose pour les gros catalogues et les médias à fort volume, où le crawl IA se compte en millions de requêtes. Pour un site de cent pages, le ratio est une information stratégique, pas une facture.

Ce qu'on décide avec ce chiffre

La bonne façon d'utiliser le ratio est de le croiser avec ce que le site attend du canal IA. Voici comment il se pondère selon les profils que je rencontre le plus souvent.

Une échéance rend ce classement moins théorique qu'il n'y paraît. Cloudflare a annoncé qu'au 15 septembre 2026, les nouveaux domaines arrivant sur son réseau verraient les catégories Training et Agent bloquées par défaut sur les pages affichant de la publicité, la catégorie Search restant autorisée. Le réglage par défaut passe donc du côté du blocage. Pour un éditeur, connaître son propre ratio et sa ventilation par robot devient la condition pour trancher soi-même plutôt que d'hériter d'un choix fait ailleurs.

Ce que le ratio ne mesure pas

Le bon usage tient en une phrase : le ratio est un indicateur de contexte, à regarder une fois par trimestre à côté des KPIs GEO, pas un tableau de bord à consulter chaque semaine. Il répond à la question « qui prend quoi », jamais à la question « est-ce que je suis cité », qui reste la seule qui décide de la visibilité.

Sources

• Microsoft Clarity, See Which AI Crawlers Drive Real Website Visits, 13 août 2026 - annonce de la carte AI Scrape-to-Referral Ratio, exemple des 41 visites et du ratio à 6 000:1.
• Microsoft Learn, Bot Activity overview, mai 2026 - origine des données (logs serveur via intégration CDN), parcours d'activation, avertissement sur ce que l'activité de bot ne prouve pas.
• Microsoft Learn, Cost considerations for Bot Activity integrations - postes de coût par fournisseur (Fastly, CloudFront, Cloudflare LogPush, Akamai, Azure Front Door).
• Cloudflare, The crawl before the fall of referrals, 1^er juillet 2025 - définition et méthode de calcul du crawl-to-refer ratio.
• Cloudflare, The crawl-to-click gap, 29 août 2025 - série mensuelle par opérateur, janvier à juillet 2025.
• Cloudflare, A deeper look at AI crawlers, 28 août 2025 - répartition du crawl par finalité et ratios par secteur.
• Cloudflare, Unmasking the crawls with Attribution Business Insights, 1^er juillet 2026 - le tableau de bord équivalent côté CDN.
• Cloudflare, Your site, your rules, juillet 2026 - classification Search / Agent / Training et réglages par défaut au 15 septembre 2026.
• Search Engine Land, Microsoft Clarity AI scrape-to-referral insights report, 13 août 2026.
• Abondance, Microsoft Clarity : un nouvel indicateur du ratio scraping IA / trafic, 14 août 2026 - la reprise francophone de l'annonce.