Guides
Pourquoi la même question donne des réponses différentes
Sur 2 961 exécutions, deux réponses IA ont donné la même liste de marques moins d'une fois sur 100 : une marge de ± 5 points demande 300 réponses.

Par Mathias C.Consultant SEO, et plus récemment GEO, chez MentionBox
Posez deux fois la même question à un moteur IA et vous obtenez deux réponses, parce que chaque réponse est un tirage et non une fiche lue dans une table. L'étude qui réunit le plus de monde, menée par SparkToro et Gumshoe avec 600 volontaires passant 12 prompts dans ChatGPT, Claude et les AI Overviews de Google 2 961 fois au total en novembre et décembre 2025, situe à moins d'une sur 100 la probabilité que deux réponses portent la même liste de marques, et à environ une sur 1 000 celle du même ordre. Une exécution isolée est donc un tirage, pas une mesure, et un chiffre GEO ne devient lisible qu'avec assez de tirages derrière lui : environ 300 réponses par période pour une marge d'environ ± 5 points de pourcentage.
Cette page s'adresse à celui qui lit un pourcentage de visibilité dans un rapport mensuel, et à celui qui écrit la collecte qui le produit. Elle parcourt les cinq couches qui font bouger les réponses, ce que mesurent les études publiées, les parties d'une réponse qui restent stables, l'arithmétique qui transforme un tas de réponses en chiffre défendable, et la façon dont les éditeurs de mesure traitent les exécutions répétées.
Cinq couches de variation, et qui tient chacune
| Couche | Ce qui change entre deux exécutions | Source documentée | Qui la contrôle |
|---|---|---|---|
| Échantillonnage des mots | la formulation, la longueur, l'ordre d'une liste | OpenAI : « Chat Completions are non-deterministic by default (which means model outputs may differ from request to request) » | vous, en partie, sur une API de modèle |
| Calcul côté serveur | le texte lui-même, échantillonnage désactivé | Thinking Machines : 1 000 exécutions à température 0 ont produit 80 textes uniques, le plus fréquent revenant 78 fois | le fournisseur |
| Recherche et fan-out | si une recherche a lieu, avec quelles requêtes, quelles pages sont lues | Anthropic : 1 à 3 recherches pour une question factuelle simple, 10 ou plus en recherche comparative ; cloro : 0,40 de recouvrement moyen des domaines entre deux exécutions à quelques minutes d'intervalle | le moteur |
| Le produit posé devant le modèle | la version du modèle, les outils attachés, les instructions système | Perplexity : API et interface web « share search infrastructure, but their tools, configuration, and models differ » ; Google : AI Mode et AI Overviews « may use different models and techniques » | l'éditeur |
| Le web et la localisation | quelles pages existent et sont indexées, depuis quelle ville la question part | SE Ranking : 18 à 20 % de recouvrement d'URL entre exécutions répétées d'une même question locale dans AI Mode, 1,6 à 2 % entre deux villes | personne |
Citations prises dans la documentation de chaque source, lue le 15 novembre 2026 : le guide d'usage avancé d'OpenAI, le guide de l'outil de recherche web de Claude, la FAQ de Perplexity et la documentation de Google sur les fonctions IA. Les chiffres des études sont datés dans les sections suivantes.
Les couches s'additionnent, ce qui explique qu'un écart mesuré entre deux exécutions dépasse toujours ce que le seul réglage d'échantillonnage laisserait attendre, et qu'aucun éditeur ni aucune méthode de collecte ne supprime la variation.
L'échantillonnage des mots est la plus petite moitié du problème
La température est la partie connue : au-dessus de zéro, le modèle tire chaque jeton dans une distribution, donc le même prompt se réécrit autrement. OpenAI indique que les sorties « may differ from request to request », qu'un seed accompagné de paramètres identiques les rend « mostly identical », et que « determinism is not guaranteed », avec un champ system_fingerprint publié pour repérer les changements d'infrastructure. Le réglage disparaît par ailleurs : la version 2026-10-21 de l'API Claude, première nouvelle version d'Anthropic depuis 2023-06-01, précise que « the temperature, top_p, and top_k request parameters are removed. A request that sends any of them returns a 400 error on every model ». Rien ne les remplace.
Couper l'échantillonnage ne rendrait pas la reproductibilité pour autant. Thinking Machines a publié un test le 10 septembre 2025 qui lance un prompt 1 000 fois à température 0 sur Qwen3-235B : 80 textes uniques sont revenus, le plus fréquent 78 fois, avec une première divergence au 103e jeton. La cause est dans le serveur, qui regroupe votre requête avec celles qui arrivent au même instant. L'addition en virgule flottante n'est pas associative, donc une taille de lot différente change l'ordre des additions et finit par faire basculer un jeton. Réécrire les noyaux de réduction pour les rendre insensibles au lot a donné 1 000 textes identiques dans le même test, correctif de recherche plutôt que réglage disponible sur une API commerciale.
La recherche déplace les sources bien plus que la formulation
Pour le GEO, la variation intéressante se situe un étage plus haut, dans les recherches que le moteur lance avant d'écrire. Le guide de l'outil de recherche web de Claude indique que « simple factual queries typically use 1–3 searches » alors que « comparative or multientity research can use 10 or more », et que le déclenchement se pilote depuis l'instruction système. Le guide de la recherche web d'OpenAI écrit que le modèle « can choose to search the web or not based on the content of the input prompt ». Deux exécutions d'un même prompt peuvent donc se distinguer par une réponse écrite de mémoire et une réponse assemblée depuis huit pages.
L'étude publiée par cloro le 14 août 2026 en mesure la conséquence sur 20 prompts envoyés à Claude Sonnet 5 avec la recherche web activée : le recouvrement moyen entre les domaines cités par deux exécutions du même prompt, à quelques minutes d'intervalle, est de 0,40, avec des prompts étalés de 0,06 à 1,00. Entre deux niveaux de la même famille de modèles, il tombe à 0,22-0,25. Notre explication du fan-out détaille cette étape et les API qui renvoient les requêtes elles-mêmes.
La géographie ajoute son propre écart. Le test de volatilité de SE Ranking du 29 septembre 2025 a analysé 5 000 mots-clés 15 fois chacun dans Google AI Mode, à raison de trois exécutions par ville dans cinq villes américaines. Pour les questions locales générales, le recouvrement moyen des domaines dans une même ville tourne autour de 35 % et celui des URL entre 18 et 20 %, tandis qu'entre deux villes le recouvrement d'URL tombe à 1,6-2 %. Les questions portant une localisation explicite sont plus stables, autour de 53 à 57 % de recouvrement de domaines dans une même ville.
Les chiffres qui restent stables, et ceux qui ne le sont jamais
Les études publiées s'accordent sur une séparation : le vivier de marques qu'un moteur envisage est assez stable, alors que la liste qu'il imprime est presque unique à chaque fois.
| Objet mesuré | Stabilité relevée | Étude |
|---|---|---|
| Liste exacte de marques, deux réponses à un prompt | moins d'une fois sur 100 pour ChatGPT et les AI Overviews de Google, un peu mieux sur Claude | SparkToro et Gumshoe, 2 961 exécutions, novembre et décembre 2025 |
| Ordre de la liste | environ une exécution sur 1 000 avant de voir deux listes identiques | même étude |
| Longueur de la liste | de 2 ou 3 recommandations à 10 ou plus pour le même prompt | même étude |
| Marque de tête, d'un jour à l'autre | présente 82 % des jours sur ChatGPT, 89 % sur les AI Overviews | Detailed, plus de 70 000 réponses, plus de 1 300 prompts par jour sur 28 jours, 23 septembre 2026 |
| Marques du noyau, citées au moins 80 % des jours | 13 % d'entre elles changent d'un jour au suivant sur ChatGPT, 11 % sur les AI Overviews | même étude |
| Marques occasionnelles | 78 % de renouvellement quotidien sur ChatGPT, 65 % sur les AI Overviews | même étude |
| Domaines cités, deux exécutions à quelques minutes | recouvrement moyen de 0,40, de 0,06 à 1,00 | cloro, 20 prompts sur Claude Sonnet 5, 14 août 2026 |
Chiffres tels que publiés par chaque étude, lus le 15 novembre 2026. Les populations diffèrent : les lignes décrivent un même phénomène à des grains différents, et non des estimations concurrentes d'un seul nombre.
L'étude de Detailed sur 28 jours ajoute le détail qui rend un rang difficile à défendre : son domaine le plus cité apparaît dans 82 % des réponses de ChatGPT, et n'arrive en premier que dans 43 % des cas. Dans une analyse que nous avons lancée en octobre 2026, 56,7 % des marques citées pour une question sur un moteur n'apparaissaient que dans une seule de ses cinq exécutions, et 7,1 % dans les cinq.
Les chiffres qui survivent à la répétition sont donc des fréquences, calculées sur de nombreuses exécutions : à quelle fréquence une marque est citée, un domaine référencé, une réponse accompagnée d'une recherche. Ceux qui n'y survivent pas sont tirés d'une réponse unique, la position en premier. Notre explication des mesures de part de voix, visibilité et position détaille ce que chacune de ces fréquences divise.
L'arithmétique qui transforme des réponses en chiffre
Un pourcentage de visibilité est une proportion mesurée sur un échantillon, donc il porte la marge habituelle : environ 1,96 × √(p(1−p)/n) au seuil de 95 %. Pour une marque citée dans 30 % des réponses, puis dans 10 % :
| Réponses derrière le chiffre | Marge à 30 % de visibilité | Marge à 10 % de visibilité |
|---|---|---|
| 10 | ± 28,4 points | ± 18,6 points |
| 30 | ± 16,4 points | ± 10,7 points |
| 72 | ± 10,6 points | ± 6,9 points |
| 100 | ± 9,0 points | ± 5,9 points |
| 300 | ± 5,2 points | ± 3,4 points |
| 1 000 | ± 2,8 points | ± 1,9 points |
Notre arithmétique sur l'intervalle à 95 % d'une proportion. Les lignes à 300 et à 72 réponses rejoignent les marges d'environ ± 5 et ± 10 points que cloro publie pour les mêmes tailles d'échantillon.
Deux lectures de ce tableau tranchent la plupart des débats de reporting. Un prompt lancé dix fois porte une marge d'environ ± 28 points, donc « présent dans 7 exécutions sur 10 » est un fait sur ces dix exécutions et guère plus. Et la marge se resserre comme la racine carrée du nombre de réponses : passer de 300 à 1 000 réponses achète 2,4 points de précision pour trois fois la facture.
Démontrer une variation coûte plus cher que donner un niveau. Pour un passage de 20 % à 30 % au seuil de 95 % et avec une puissance de 80 %, l'arithmétique des deux proportions demande environ 290 réponses par période de chaque côté, proche des 294 que publie cloro pour ce cas. Les variations plus fines coûtent beaucoup plus : diviser l'écart par deux quadruple à peu près le besoin, ce qui place un mouvement de 5 points autour de 1 100 réponses de chaque côté.
Une réserve que la formule masque : les réponses ne sont pas des tirages indépendants. Cinq exécutions d'un même prompt se ressemblent davantage que cinq exécutions de cinq prompts différents, car le prompt fixe le sujet, le fan-out et une bonne part du vivier de sources. À notre avis, la règle consiste à faire grandir ensemble le nombre de prompts et le nombre d'exécutions, et à décoter un échantillon tiré de très peu de prompts sous ce que la formule promet. Notre guide pour construire un jeu de prompts GEO déroule ce compromis avec l'arithmétique des cadences.
Comment les éditeurs traitent la répétition
La répétition se vend en cadence plutôt qu'en taille d'échantillon, et l'unité de facturation reste presque toujours un prompt, sur un moteur, pour une exécution.
- Quotidien par défaut. La documentation de Peec AI indique qu'il « runs the prompt against AI models once a day and includes it in analytics ». La page de fraîcheur des données de Promptwatch précise que « the default, and what every plan uses, is daily », et conseille que « for trend decisions, week-over-week comparisons of complete days beat reacting to a partial today ».
- La répétition comme méthode. Evertune déclare sur son site échantillonner chaque prompt « 100 times across every AI model », chiffre de répétition le plus élevé de notre relevé, vérifié le 23 octobre 2026.
- Les exécutions comme paramètre de requête. API for GEO expose ce nombre directement : son endpoint de suivi de prompts
POST /v1/jobs/executeprend un tableaumodelset un nombreexecutionsPerQuery, la facturation est d'un crédit par prompt, par modèle et par exécution à 13 $ pour 1 000 réponses jusqu'à 7 $ au plus gros palier, et les lectures sur des réponses déjà collectées ne sont pas facturées, vérifié le 23 octobre 2026. Son prix par réponse dépasse celui des API de collecte, et sa couverture de Gemini, Google AI Overviews, DeepSeek et Meta AI repose sur notre test en conditions réelles du 26 octobre 2026 plutôt que sur apiforgeo.com. MentionBox, qui édite ce site, a un lien commercial avec API for GEO.
Les lectures gratuites sur les réponses stockées pèsent plus qu'il n'y paraît sur une série bruitée, car la correction habituelle consiste à recompter les réponses déjà en main sous une définition plus stricte, et non à collecter un mois plus gros.
Cinq règles pour qu'une série bruitée reste lisible
- Figez le nombre d'exécutions, puis n'y touchez plus. Une période collectée trois fois par prompt et une période collectée une fois ne se comparent pas, et la courbe montrera votre ordonnanceur plutôt que les moteurs.
- Affichez le dénominateur à côté de chaque pourcentage. Le nombre de réponses, de prompts, de moteurs et d'exécutions derrière un chiffre est le seul moyen, pour un lecteur, de distinguer un mouvement du bruit.
- Étalez les exécutions sur la période. Une semaine d'exécutions collectée en une heure échantillonne un état du web et un état du moteur, ce qui rejoint le conseil de Promptwatch de comparer des journées complètes.
- Conservez les réponses brutes, leurs sources et leur fan-out. Un changement de définition coûte alors un recomptage au lieu d'une nouvelle collecte, et la question « notre marque était-elle absente, ou la réponse ne citait-elle aucune marque » reste traitable.
- Donnez une marge, et grisez les découpages que l'échantillon ne tient pas. Un jeu mensuel de 36 prompts tient au niveau du thème et s'effondre dès qu'on le filtre sur un moteur dans un pays, où le même pourcentage repose sur une fraction des réponses.
Quatre questions règlent la plupart des discussions sur un tableau GEO fait par quelqu'un d'autre : sur combien de réponses le pourcentage est-il calculé, combien d'exécutions par prompt et ce nombre a-t-il changé, le chiffre est-il agrégé entre moteurs et pondéré comment, et le mouvement dépasse-t-il la marge. Une série qui ne répond pas à la quatrième en une ligne se lit comme un classement et non comme une estimation.
Notre avis
Traitez un chiffre de visibilité IA comme un institut traite une intention de vote : un échantillon avec une marge, présenté au niveau que l'échantillon soutient et nulle part en dessous. Les moteurs sont faits pour produire une réponse neuve à chaque fois, et les études publiées placent la répétition exacte sous 1 % pour les listes de marques et sous 3 % pour les listes de domaines. Les exécutions répétées donnent une fréquence à la place, et les fréquences bougent assez lentement pour être pilotées : le vivier de marques qu'un moteur envisage dans votre catégorie, la part des réponses qui vous citent, les domaines sur lesquels il revient. Notre classement de 55 API de visibilité IA indique lesquelles renvoient les réponses brutes qu'un recomptage exige, et lesquelles ne rendent que des mesures calculées.
Questions fréquentes
Pourquoi ChatGPT répond-il différemment à la même question ?
Trois couches s'additionnent. Le modèle tire chaque mot dans une distribution de probabilité, ce qu'OpenAI écrit noir sur blanc : « Chat Completions are non-deterministic by default ». Le moteur décide ensuite seul s'il lance une recherche web et avec quelles requêtes, et le guide d'OpenAI précise que le modèle « can choose to search the web or not based on the content of the input prompt ». Enfin l'assistant que vous utilisez est un produit avec sa configuration propre, donc deux sessions peuvent atteindre des modèles et des pages différents.
La température à 0 rend-elle les réponses reproductibles ?
Non, et l'écart mesuré est large. Thinking Machines a publié le 10 septembre 2025 un test où 1 000 exécutions d'un même prompt à température 0 ont produit 80 textes uniques, le plus fréquent revenant 78 fois, avec une première divergence au 103e jeton ; la cause est la taille du lot côté serveur, qui varie avec la charge et change l'ordre des additions en virgule flottante. Avec des noyaux insensibles au lot, les 1 000 réponses du même test étaient identiques. Le réglage disparaît d'ailleurs des API : la version 2026-10-21 de l'API Claude supprime `temperature`, `top_p` et `top_k`, et toute requête qui en envoie un reçoit une erreur 400 sur tous les modèles.
Combien de fois faut-il relancer un prompt pour mesurer la visibilité IA ?
Plusieurs fois par période, et le même nombre de fois à chaque période. L'étude de SparkToro et Gumshoe, où 600 volontaires ont passé 12 prompts dans ChatGPT, Claude et les AI Overviews de Google 2 961 fois au total en novembre et décembre 2025, situe à moins d'une sur 100 la probabilité que deux réponses portent la même liste de marques, et conseille de demander « at least 60-100X ». Les éditeurs arrivent dans la même zone par la cadence plutôt que par la répétition : Peec AI exécute chaque prompt une fois par jour, Promptwatch met tous ses plans en quotidien par défaut, et Evertune déclare échantillonner chaque prompt 100 fois sur chaque modèle.
Combien de réponses avant qu'une variation de visibilité soit réelle ?
Environ 290 par période de chaque côté de la comparaison pour un passage de 20 % à 30 %, selon l'arithmétique habituelle des deux proportions au seuil de 95 % et avec une puissance de 80 %, ce qui rejoint les 294 réponses que publie cloro pour le même cas. Pour un niveau et non une variation, 100 réponses placent une lecture de 30 % autour de ± 9 points et 300 réponses autour de ± 5 points. Un chiffre bâti sur dix réponses par prompt porte une marge d'environ ± 28 points, plus large que la plupart des mouvements commentés dans un rapport mensuel.
Peut-on comparer une réponse d'API et une réponse de l'interface de chat ?
Pas dans la même série. La FAQ de Perplexity indique que son API et son interface web « share search infrastructure, but their tools, configuration, and models differ, so results can differ », et que « the underlying AI model might differ between the API and the UI for a given query ». Google documente la même séparation entre ses surfaces, en écrivant qu'AI Mode et AI Overviews « may use different models and techniques, so the set of responses and links they show will vary ». Gardez la méthode de collecte dans la clé de chaque réponse stockée, sinon un changement de route se lira comme une variation de visibilité.
Faut-il présenter la position d'une marque dans une réponse IA ?
C'est le chiffre le moins stable du lot. SparkToro et Gumshoe mesurent environ une exécution sur 1 000 avant de voir deux listes dans le même ordre, et les mêmes réponses variaient en longueur, de deux ou trois recommandations à dix ou plus. L'étude de Detailed, 28 jours et plus de 70 000 réponses, relève que le domaine le plus cité apparaît dans 82 % des réponses de ChatGPT et n'arrive en premier que dans 43 % des cas. La fréquence d'apparition sur de nombreuses exécutions tient bien mieux que n'importe quel rang.