Par Elisha Bajemon | Publié le 17 octobre 2026

Que faut-il vérifier pour comprendre une étude GEO ?

En bref

Pour comprendre une étude GEO, vérifiez les variables comparées, le nombre d’observations, les intervalles de confiance et les corrections appliquées aux tests multiples. Dans Scoring Without the Engine, de Bajemon et Rochet, déposé sur arXiv le 7 septembre 2026, l’effet des citations textuelles par rapport à un ajout neutre de même longueur passe de +0,027 sur 41 requêtes à +0,005 sur 100, en part de visibilité. Pour l’ancienne calibration, la corrélation passe de 0,90 sur les données d’apprentissage à environ 0,20 en validation croisée. Une fuite entre apprentissage et test gonfle aussi une mesure à 0,48, ramenée à 0,065 après séparation des requêtes sur le jeu des sept moteurs audités. Ce papier est signé par l’équipe Citead : nous lui appliquons ici la même grille de lecture qu’à toute étude d’éditeur.

Points clés

Les exemples suivants proviennent de Bajemon et Rochet, 7 septembre 2026.

• L’effet des citations textuelles, comparé à un ajout neutre de même longueur, passe de +0,027 sur 41 requêtes à +0,005 sur 100, en part de visibilité PAWC.
• Sur 39 pages, une corrélation de Spearman de 0,90 à l’apprentissage tombe à environ 0,20 en validation croisée.
• Un intervalle de confiance à 95 % allant de 0,42 à 0,80 accompagne la corrélation composite de l’ancienne calibration.
• Pour l’ajout de sources citées, la table publie une valeur p de 0,04 avant correction et de 0,13 après correction de Bonferroni.
• Une évaluation séparant les requêtes d’apprentissage et de test ramène la corrélation de la sonde de 0,48 à 0,065 sur les sept moteurs audités.
• Les valeurs 0,114, 0,119 et 0,122 correspondent à des périmètres ou filtrages différents : leur proximité ne les rend pas interchangeables.

1. Que compare une corrélation dans une étude GEO ?

Une corrélation décrit une association entre des mesures dont il faut connaître la nature et le périmètre. Les documentations non datées de SciPy distinguent Pearson, qui mesure une relation linéaire, et Spearman, qui mesure une relation d’ordre. En pratique, Spearman aide à examiner si les sources les mieux notées occupent aussi les meilleures places selon la mesure de visibilité.

Dans le protocole de Bajemon et Rochet, 7 septembre 2026, chaque question est accompagnée de cinq sources. La visibilité de chaque source est mesurée par le nombre de mots des phrases qui la citent, pondéré par leur position, puis ramené à une part du total des sources : le papier utilise une mesure dérivée de la PAWC. La corrélation intra-requête compare donc le score et cette part pour une même question. Dans les exemples d’intervention qui suivent, l’effet mesure la différence entre la modification testée et un ajout neutre de même longueur.

Le regroupement peut ensuite porter sur ces corrélations calculées question par question. Une corrélation calculée directement en mélangeant toutes les sources répondrait à une autre question. Nous recommandons de demander ce qui a été regroupé avant de comparer deux résultats.

La note du papier distingue précisément 0,114 sur 777 groupes exploitables des sept moteurs initiaux, 0,119 sur 1 269 groupes de l’étude de classement à dix moteurs, et 0,122 avec le filtrage du script de référence. Le périmètre fait partie du résultat.

Le lien avec la citation fait l’objet de l’article Pourquoi un score calculé sur le seul texte ne prédit pas le choix des sources par les moteurs.

2. Combien d’observations faut-il pour examiner un effet ?

Nous recommandons de regarder la stabilité du résultat quand les données s’élargissent et quand l’évaluation utilise des observations tenues à l’écart de l’ajustement. Dans l’étude de Bajemon et Rochet, déposée le 7 septembre 2026, une même série de tests donne un effet positif de +0,027 pour les citations textuelles sur 41 requêtes, puis de +0,005 sur 100 requêtes. Ces valeurs sont des différences de part de visibilité PAWC par rapport au contrôle de même longueur.

L’ancienne calibration donne un autre avertissement. Les poids avaient été ajustés sur 39 pages, à partir d’un nombre de citations provenant de moteurs commerciaux. La corrélation de Spearman atteint 0,90 sur les données utilisées pour l’ajustement, puis environ 0,20 en validation croisée : chaque page est successivement écartée de l’apprentissage pour servir à l’évaluation. Le résultat dépendait fortement des données déjà vues.

Les auteurs qualifient aussi leurs 229 requêtes uniques de petit échantillon pour les modèles de classement ajustés. Compter les réponses obtenues sur plusieurs moteurs et compter les questions distinctes donne deux informations différentes.

Pour examiner une étude, nous recommandons de relever séparément les pages, les questions uniques et les comparaisons effectivement utilisées. Demandez également comment le test a été séparé de l’apprentissage. Un total d’observations isolé renseigne peu sur cette séparation.

3. Que dit un intervalle de confiance ?

Un intervalle de confiance exprime l’incertitude d’une estimation selon une méthode et ses hypothèses. Le glossaire non daté du NIST en donne une lecture par échantillonnages répétés : au niveau de confiance choisi, une proportion correspondante des intervalles construits contiendrait le paramètre recherché.

Pour votre lecture, examinez l’étendue de l’intervalle et les valeurs qu’il contient. Dans l’étude de Bajemon et Rochet, déposée le 7 septembre 2026, l’ancienne calibration sur 39 pages comporte un intervalle à 95 % de 0,42 à 0,80 pour sa corrélation composite. Cette plage invite à conserver une incertitude importante autour de la valeur centrale. Elle concerne la corrélation composite décrite par les auteurs, distincte du résultat de validation croisée présenté plus haut.

Le même papier mesure l’effet des citations textuelles à −0,33 point de pourcentage de PAWC, avec un intervalle à 95 % de −0,84 à +0,17 sur 1 531 comparaisons appariées. L’intervalle contient zéro : ces données restent compatibles avec l’absence d’effet selon cette méthode. Elles couvrent aussi des valeurs négatives et positives. Deux des trois intervalles des leviers réévalués contiennent zéro ; celui de l’ajout de sources citées est entièrement négatif.

Nous conseillons de recopier ensemble l’effet, son unité, l’intervalle et l’effectif. Cela évite de transformer une estimation incertaine en résultat acquis.

4. Pourquoi faut-il corriger les résultats de plusieurs tests ?

Examiner plusieurs tests impose de tenir compte du risque d’obtenir un résultat significatif parmi les comparaisons. La documentation non datée de R décrit la correction de Bonferroni : les valeurs p sont multipliées par le nombre de comparaisons. Elle appartient aux méthodes qui contrôlent le risque d’erreur à l’échelle de la famille de tests.

La table de Bajemon et Rochet, 7 septembre 2026 en fournit un exemple. Pour l’ajout de sources citées, sur 605 comparaisons, l’effet mesuré est de −0,0101 en part de PAWC. La table affiche une valeur p de 0,04 avant correction et de 0,13 après correction. Le papier examine les trois leviers dans une même famille de tests. Pour refaire ce calcul, notre recommandation est d’utiliser les valeurs non arrondies, puis d’arrondir le résultat affiché.

L’interprétation doit conserver le signe de l’effet : dans cette comparaison, il est négatif. Le papier rapporte également, sur gpt-oss, un effet de −0,055 en part de PAWC pour les citations textuelles, avec p = 0,013 avant correction, que les auteurs classent non significatif après Bonferroni. Cette comparaison propre à un moteur doit rester distincte du test groupé précédent.

Nous recommandons donc de demander la liste des tests regroupés dans chaque famille et la correction appliquée à chacune.

5. Comment une évaluation peut-elle se tromper sans fraude ?

Une même question présente dans l’apprentissage et dans le test peut permettre à un modèle de mémoriser ses résultats. Bajemon et Rochet, 7 septembre 2026 décrivent cette erreur dans leur première évaluation : les groupes avaient été séparés par enregistrement associant moteur et question. Comme des questions revenaient sur plusieurs moteurs, cette séparation laissait passer des informations. Une sonde ignorant le texte de la question atteignait ainsi une corrélation de 0,48. Après séparation par questions distinctes, elle descend à 0,065 sur les sept moteurs audités. Les auteurs publient l’erreur et sa correction. Notre recommandation est de demander l’unité utilisée pour séparer les données : page, question ou autre groupe. L’audit fait aussi l’objet de l’article TW3 Trois erreurs trouvées et corrigées avant publication : l’audit interne d’un papier de recherche appliquée.

6. Quelles questions faut-il poser aux auteurs d’une étude ?

Nous recommandons de demander les éléments qui permettent de refaire le chemin entre le protocole et la conclusion :

• Quels moteurs et quelles versions ont été testés, à quelles dates ?
• Quelle mesure représente la visibilité et quelle est son unité ?
• Combien de questions distinctes et de comparaisons entrent dans chaque résultat ?
• Quels intervalles accompagnent les effets, et comment sont-ils calculés ?
• Quels tests ont été effectués et quelle correction leur a été appliquée ?
• Comment les données d’apprentissage et d’évaluation sont-elles séparées ?
• Quels fichiers et scripts sont publics, et que permettent-ils de reproduire ?
• Quel lien les auteurs entretiennent-ils avec le produit évalué ?

Appliquons cette grille à notre source. Elisha Bajemon et André-Louis Rochet, 7 septembre 2026 sont affiliés à TW3 Partners, Citead. L’étude émane donc de l’équipe dont elle évalue le score. Son protocole à cinq sources et consigne fixe représente un cadre contrôlé ; sa portée doit être appréciée dans ce cadre.

Le README du dépôt TW3-Partners-OS, non daté annonce des données et scripts permettant de reproduire les analyses hors ligne. Il décrit un audit automatisé vérifiant 163 chiffres principaux contre les fichiers régénérés. Cette reproduction part des fichiers de caractéristiques déjà calculées ; le README précise que le code du scoreur nécessaire pour repartir des textes bruts reste absent du dépôt.

Les auteurs précisent dans le papier que cet audit vérifie la concordance entre chiffres publiés et fichiers, sans certifier la justesse du protocole qui les a produits. Pour lire ce dépôt, nous recommandons donc de distinguer la concordance des chiffres avec les fichiers et la validation de la méthode de collecte.

Pour aller plus loin

• Les trois leviers GEO de 2023 ne déplacent plus la citation sur les dix familles de moteurs testées.
• Calculer un taux de citation sur un panel de prompts : formule, taille d’échantillon et marge d’erreur.

Pour poursuivre, lisez Comment les moteurs de réponse choisissent leurs sources : ce que les études publiées permettent d’affirmer en 2026.