Ne mesurez pas qu'une fois car la visibilité IA est une distribution

Une erreur revient en permanence, y compris chez des gens sérieux. On tape sa requête dans ChatGPT, on regarde si sa marque est citée, et on conclut que « ça marche » ou que « ça ne marche pas ». Si l'on repose exactement la même question cinq minutes plus tard, la réponse et la liste des sources peuvent pourtant avoir changé.

Le papier déposé sur arXiv en avril 2026 par Julius Schulte, Malte Bleeker et Philipp Kaufmann, sous le titre Don't Measure Once: Measuring Visibility in AI Search (GEO), mesure ce piège. Il dit de combien les réponses varient, d'où vient la variation, et combien de relevés il faut pour obtenir un chiffre qui tienne.

Deux mois de relevés quotidiens sur quatre moteurs

Les trois auteurs travaillent à l'Université de Saint-Gall, en Suisse, l'un au centre d'entrepreneuriat et d'innovation, les deux autres au département de marketing. Le premier auteur est aussi affilié à Aurora Intelligence, et les données du premier jeu viennent d'un export de cet outil : l'étude n'est donc pas tout à fait extérieure au marché du suivi.

Ils ont constitué deux jeux de données. Le premier suit chaque jour, du 24 janvier au 20 mars 2026, les réponses de ChatGPT, Gemini, Google AI Mode et Perplexity dans quatre secteurs du marché suisse alémanique : télécoms, vente immobilière, articles de sport et électronique grand public. Chaque secteur compte huit questions en allemand, tirées des « Autres questions posées » de Google sur des mots-clés à fort volume. Le second jeu repose les mêmes questions jusqu'à dix fois de suite dans un délai de vingt-quatre heures, entre le 21 et le 25 mars 2026, pour séparer le hasard de la génération des changements qui viennent avec le temps.

La stabilité se mesure de deux façons. L'indice de Jaccard donne la part des sources communes à deux relevés, sans tenir compte de leur ordre. Le Rank-Biased Overlap (RBO) pondère davantage les sources citées en tête, et dit donc si l'ordre bouge aussi.

Deux tiers des sources changent d'un jour à l'autre

Sur l'ensemble de la période, deux relevés consécutifs partagent en moyenne entre 34 et 42 % de leurs sources selon le secteur. Un indice de 0,35 signifie que 35 % des sources sont communes aux deux jours, et que les deux tiers restants ont changé.

Le RBO, plus bas que l'indice de Jaccard, montre que l'ordre des sources change en plus de leur liste. Les marques nommées dans le texte des réponses tiennent un peu mieux, avec 45 à 59 % de recoupement d'un jour à l'autre dans les trois secteurs où l'analyse était possible. L'immobilier en a été exclu, parce que beaucoup de ses questions, sur la fiscalité notamment, reçoivent une réponse sans aucune marque.

La même question posée dix fois dans la journée

Cette instabilité pourrait venir de changements extérieurs, une mise à jour de l'algorithme ou de l'index par exemple. Pour le vérifier, les auteurs ont reposé les mêmes questions jusqu'à dix fois en moins de vingt-quatre heures. Les sources communes à deux réponses tombent alors entre 32 et 43 % selon le secteur, au même niveau que d'un jour à l'autre. Le temps qui passe n'explique donc qu'une petite partie de l'instabilité. Le moteur ne choisit pas deux fois les mêmes sources pour la même question, même à quelques minutes d'intervalle.

ChatGPT est le moins constant sur les sources. Il est aussi celui qui cherche le moins sur le web, puisque 57,8 % de ses réponses ne citent aucune source, notamment sur les questions de définition, auxquelles il répond de mémoire. Gemini garde la moitié de ses sources d'une réponse à l'autre, mais ses marques varient davantage que ses sources. Aucun moteur n'approche la stabilité d'un classement Google, où la même requête lancée deux fois de suite donne à peu près la même page de résultats.

Quelques domaines captent la plupart des citations

Les auteurs ont aussi mesuré la concentration des citations, avec le coefficient de Gini, qui vaut 0 quand tous les domaines sont cités autant et 1 quand un seul les prend toutes. La moyenne est de 0,715. Google AI Mode est le plus concentré (0,782) et Perplexity le plus dispersé (0,671). Les sources changent beaucoup d'une réponse à l'autre, mais elles tournent à l'intérieur d'un petit groupe de domaines, ce que SISTRIX décrit aussi comme un noyau stable entouré d'un carrousel.

Sept relevés par jour et quatre semaines de cumul

Les auteurs ont aussi calculé, à partir de leurs données, combien de relevés il faut pour qu'une estimation devienne fiable.

• Par jour. Pour estimer la présence d'une marque avec une erreur type inférieure à 10 points, il faut au moins sept relevés de la même question, et la marge d'erreur reste alors d'environ 16 points. Avec huit relevés, elle descend à 12 points. Pour suivre les sources elles-mêmes, plus instables, il en faut huit.
• Dans le temps. Une estimation par marque devient stable à moins de 10 points d'erreur type au bout de dix jours de relevés, et à moins de 5 points au bout de 24 jours. Les auteurs recommandent un cumul glissant de deux à quatre semaines.
• En nombre de questions. Selon la question, le recoupement va de moins de 20 % à plus de 80 %. Les questions précises sur un produit donnent des réponses plus constantes que les questions générales. Suivre une ou deux questions revient à mesurer leurs particularités, pas une visibilité.
• Par moteur. La concentration et la stabilité diffèrent trop d'un moteur à l'autre pour fixer un seuil commun. Chaque moteur demande sa propre référence.

Les auteurs conseillent enfin de suivre la présence d'une marque plutôt que les URL citées, plus volatiles. Le suivi des sources reste utile pour comprendre quelles pages font entrer une marque dans les réponses.

Limites de l'étude

• Un seul marché. Les 32 questions sont en allemand, sur quatre secteurs suisses, et les auteurs appellent eux-mêmes à vérifier les résultats dans d'autres langues.
• Deux mois de données. La période a été limitée au 24 janvier au 20 mars 2026 parce que la collecte sur ChatGPT a changé ensuite. Un domaine parasite d'OpenAI servant à afficher les images, qui représentait 5,8 % des citations de ChatGPT sur une partie de la collecte, a été retiré de tous les calculs.
• Une journée qui en dure plusieurs. Les relevés répétés se sont étalés sur plusieurs jours selon les moteurs. Les auteurs n'ont comparé que des paires distantes de moins de vingt-quatre heures.
• Les AI Overviews exclus. Ils figuraient dans la collecte, mais les auteurs les ont écartés parce qu'ils s'affichent dans les résultats classiques et fonctionnent autrement.
• Un preprint. Le papier n'a pas encore été relu par un comité scientifique.

Ma lecture

Ce papier a deux mérites rares dans les études GEO. Il publie sa méthode et ses données, et il sépare le hasard de la génération des effets du temps. Il recoupe ce que montrent des éditeurs d'outils avec d'autres méthodes. SISTRIX mesure que ChatGPT Search renouvelle 74 % de ses domaines cités chaque semaine (42 % sur les requêtes françaises), et Profound que la page médiane perd la moitié de sa part de citations onze jours après son pic. Le papier de Saint-Gall ajoute une nuance qui compte. Une partie de ces citations « perdues » ne l'est pas, elle a simplement manqué un tirage. J'ai repris cette lecture dans le billet combien de temps une page reste citée par les IA.

La conséquence pratique est concrète. Le protocole de suivi manuel proposé sur ce site prévoit un passage par mois, et deux essais sur les questions importantes. Au regard de ces chiffres, il permet de suivre une tendance sur 30 à 50 questions, pas de juger une question isolée. Un outil qui ne lance qu'un relevé par question et par jour donne, lui aussi, un chiffre dont la marge d'erreur dépasse souvent l'écart qu'on cherche à mesurer.

Sources

• arXiv | Don't Measure Once: Measuring Visibility in AI Search (GEO) (Julius Schulte, Malte Bleeker, Philipp Kaufmann, Université de Saint-Gall, avril 2026), source primaire. Les chiffres de cette fiche viennent du texte complet (tableaux 2 à 6 et annexes J et K), pas du résumé.