Lire un score de visibilité IA sans se faire avoir

Voici deux chiffres publiés cet été, sur la même surface : les aperçus IA de Google. Ahrefs, sur plus de trois millions de requêtes américaines, situe Reddit à 18,5 % des citations en septembre 2026. Promptwatch, sur un relevé d'août, mesure la part de Reddit dans les citations des aperçus IA à 2,37 %. Presque un facteur huit.

La réaction naturelle est de chercher qui se trompe. C'est la mauvaise question. Les deux relevés sont probablement corrects, et la raison de leur écart est parfaitement identifiable : ils ne posent pas les mêmes questions aux moteurs. Un travail déposé sur arXiv le 6 septembre 2026 par Olivier Martinez, de Sciences Po, formalise ce mécanisme et donne, pour la première fois, une grille de lecture utilisable.

Ce qu'il y a derrière un chiffre de visibilité

Un score de visibilité IA n'est pas une observation, c'est une construction. Pour produire un pourcentage, un outil doit prendre cinq décisions successives, et aucune n'est neutre.

L'expression employée par l'auteur résume bien l'affaire : ces choix définissent ensemble un « marché de réponses », c'est-à-dire un univers artificiel de questions dans lequel on mesure votre présence. Rien ne garantit que cet univers ressemble à la demande réelle de vos clients.

Le corpus de questions décide du résultat

C'est le point le plus contre-intuitif, et l'auteur le démontre sur des données déjà publiées plutôt que sur un exemple inventé.

Le point de départ est un travail existant qui mesure à quelle fréquence Google affiche un aperçu IA : 65,6 % des cas, sur 11 500 requêtes relevées les 7 et 8 décembre 2025, en mobile, depuis le New Jersey. Ce corpus est composé de sous-ensembles très différents, dont les taux internes n'ont rien à voir : des requêtes issues de logs de recherche à 51,5 %, des requêtes de produits à 17,4 %, et des questions ouvertes de type « explique-moi » à 94,6 %.

À partir de là, il suffit de changer la proportion de chaque sous-ensemble dans le total pour obtenir deux résultats radicalement différents.

30,88 points d'écart, et aucun taux mesuré n'a bougé. Ni le moteur, ni la période, ni la façon de compter : uniquement la part respective des trois familles de questions dans le corpus. Les deux chiffres sont exacts, et un article de presse qui reprendrait l'un ou l'autre écrirait quelque chose de vrai et de trompeur à la fois. Deux précisions que l'auteur pose lui-même : il a choisi ses trois sous-ensembles pour rendre le contraste visible, donc l'amplitude n'est pas une sensibilité typique, et ce calcul porte sur l'affichage d'un aperçu, pas sur la visibilité d'une marque. Le mécanisme, lui, est le même.

Transposé à votre suivi de marque, le mécanisme est le même. Un outil dont le corpus penche vers les questions de comparaison de produits vous donnera une visibilité élevée si vous êtes présent dans les comparatifs. Un outil dont le corpus penche vers les questions de définition vous donnera l'inverse. Aucun des deux ne ment.

Les pondérations peuvent inverser un classement

Le papier pousse la démonstration un cran plus loin, avec un exemple qu'il présente comme volontairement fictif : deux systèmes, deux catégories de questions. Le premier est meilleur quand il s'agit de vérifier un nom déjà connu, le second quand il s'agit de découvrir sans nom précis. En faisant varier un seul paramètre, le poids donné à la découverte, on obtient ceci :

Les performances des deux systèmes sont rigoureusement identiques dans les deux lignes. Seule la convention de calcul change, et le classement s'inverse. Un tableau de bord qui annonce « vous êtes deuxième de votre secteur » sans publier ses pondérations présente donc une opinion comme une mesure.

La proposition de l'auteur est raisonnable et n'a rien de théorique : quand les pondérations sont inconnues ou discutables, publier un intervalle de scores admissibles plutôt qu'une valeur unique. Il distingue d'ailleurs deux sources d'incertitude qu'on mélange en permanence : ce qui vient des données et de l'échantillon, et ce qui vient d'un choix de convention. La première se réduit en mesurant davantage, la seconde jamais.

Quand c'est un modèle qui compte les citations

Beaucoup d'outils ne comptent plus les citations à la main. Ils demandent à un modèle de langage de lire chaque réponse et de dire si la marque y figure, sous quelle forme, et avec quelle tonalité. C'est efficace, et ça introduit un juge dont les décisions dépendent de la façon dont on lui parle.

Le papier est explicite sur ce point : si un modèle assure le comptage, alors son nom, sa version, sa grille d'évaluation et son instruction font partie de la méthode et doivent être déclarés. Une variation d'instruction peut modifier l'évaluation d'une réponse strictement inchangée. Autrement dit, votre score peut bouger d'un mois sur l'autre parce que l'éditeur de l'outil a réécrit son prompt interne, sans que rien n'ait changé dans les réponses des moteurs ni sur votre site.

Une citation n'est pas une contribution

Dernier étage, et pas le moins gênant pour la profession. Un score de visibilité compte des apparitions. Il en déduit implicitement une influence : si ma source est citée, c'est qu'elle a servi. Le papier montre que cette déduction n'est pas fondée.

La bonne comparaison consiste à générer deux fois la même réponse, avec et sans la source en question, dans un contexte documentaire contrôlé, puis à regarder ce qui change dans le texte produit. C'est seulement là qu'on mesure une contribution. L'exemple donné est parlant : retirer l'identifiant d'une source peut supprimer mécaniquement sa citation sans modifier d'un mot l'information contenue dans la réponse. La citation a disparu, la contribution était nulle depuis le début.

Ce constat rejoint par une autre porte le travail sur la sélection et l'absorption des citations, qui montrait déjà qu'une page peut figurer dans la liste des sources sans que rien de sa substance ne se retrouve dans la réponse. Deux équipes différentes, une même mise en garde : le compteur de citations est une mesure grossière de ce qui vous intéresse vraiment.

Ce que ça donne sur un cas réel

Reprenons l'écart du début. Ahrefs place Reddit à 18,5 % des citations des aperçus IA en septembre 2026, sur un corpus de plus de trois millions de requêtes américaines couvrant tous les sujets. Promptwatch mesure 2,37 % sur la même surface, à partir d'un suivi d'interfaces réelles sur un corpus de prompts orienté vers des questions de marque et de recommandation.

Les deux marchés de réponses n'ont presque rien en commun. Un corpus généraliste de trois millions de requêtes contient énormément de questions de divertissement, de bricolage, d'avis de consommateurs, exactement là où Reddit domine. Un corpus centré sur des questions commerciales de suivi de marque en contient beaucoup moins. Le chiffre de Reddit n'est pas « 18,5 % » ou « 2,37 % » : il n'existe pas de valeur unique, il existe une valeur par corpus.

Ce raisonnement a une conséquence pratique immédiate, et elle vaut aussi pour les variations dans le temps. Quand la part de Reddit dans ChatGPT s'est effondrée de 3,83 % à 0,52 % en quatre jours au mois d'août, la même source mesurait sur les produits Google des baisses graduelles de 11,3 % et 30,5 %. Comparer une rupture mesurée par un outil à une stabilité mesurée par un autre n'aurait rien prouvé. Comparer les deux séries d'un même outil, avec le même corpus et la même règle de comptage, prouve quelque chose : la rupture venait d'OpenAI, pas du marché. C'est l'épisode que j'ai suivi ici.

La grille de lecture, en huit questions

Voici ce que je demande désormais avant de prendre un score au sérieux, qu'il vienne d'un outil payant, d'une étude d'éditeur ou de mon propre relevé.

1. Combien de questions, et lesquelles ? Le nombre seul ne dit rien. Un corpus de 200 questions bien choisies vaut mieux qu'un million de requêtes sans rapport avec votre activité.
2. Qui a écrit ces questions ? Générées par un modèle, extraites de logs de recherche réels, ou rédigées par le client ? Les trois donnent des marchés de réponses très différents.
3. Le corpus a-t-il changé depuis le dernier rapport ? Une question ajoutée ou retirée déplace la moyenne. C'est la première cause de rupture inexpliquée dans un tableau de bord.
4. Quelles pondérations ? À défaut de les publier, l'outil devrait au moins dire si toutes les questions pèsent pareil.
5. Combien de répétitions par question ? Un seul passage sur un moteur qui varie d'une exécution à l'autre ne mesure rien de stable. Trois à cinq passages sont un minimum.
6. Qu'est-ce qui compte comme une apparition ? Un lien cliquable, une mention de marque sans lien, une reprise de contenu sans attribution. Ce sont trois métriques distinctes, souvent confondues sous un seul mot.
7. Un modèle juge-t-il ? Si oui, lequel, avec quelle instruction, et a-t-elle bougé ?
8. Le score prétend-il mesurer une influence ? S'il compte des citations, il mesure une présence. L'influence demande une comparaison avec et sans la source, qu'aucun outil grand public ne propose à ma connaissance.

Ce que ce cadre ne règle pas

• C'est un preprint, non revu par les pairs, écrit par un auteur seul. Il n'apporte aucune expérience nouvelle et l'auteur le dit : la validité empirique générale du cadre reste à établir. Sa force est logique, pas expérimentale.
• Il ne donne pas de bon corpus. Il montre que le choix du corpus décide du résultat, il ne dit pas quel corpus est juste. La réponse dépend de votre marché, et personne ne peut la publier à votre place.
• Il ne rend pas les outils inutiles. Un score mal fondé reste exploitable en variation, sur un corpus figé, pour repérer une tendance sur votre propre domaine. Ce qu'il interdit, c'est de comparer deux outils entre eux et d'annoncer une part de marché absolue.
• La comparaison avec et sans la source est hors de portée en pratique. Elle suppose de contrôler le contexte documentaire du moteur, ce qu'aucun utilisateur ne peut faire sur un moteur commercial. On reste donc, pour l'instant, avec des mesures de présence.

Ce cadre ne remplace pas la mesure, il la rend lisible. La bonne façon de s'en servir, à mon sens, est de le prendre comme une liste de questions à poser plutôt que comme un verdict sur les outils. Un éditeur qui répond aux huit questions ci-dessus sans se dérober vend un instrument. Un éditeur qui n'y répond pas vend un chiffre.

Sources

• arXiv | Measuring GEO Visibility: Prompt Corpora Define the Answer Market (Olivier Martinez, 6 septembre 2026) - source primaire du cadre et des calculs.
• Ahrefs | The 50 Most-Cited Websites in Google AI Overviews (septembre 2026) - relevé mensuel sur plus de 3 millions de requêtes américaines.
• Promptwatch | Why Did ChatGPT Stop Citing Reddit? (août 2026) - séries comparées ChatGPT, aperçus IA et AI Mode.
• Search Engine Roundtable | Google blocking scrapers and tracking tools (18 septembre 2026) - Nozzle, DataForSEO, Sistrix, Ahrefs, Semrush.