Par Elisha Bajemon | Publié le 17 octobre 2026

L’étude GEO d’Aggarwal (KDD 2024) : ce qu’elle mesure et comment la relire

En bref

L’étude GEO d’Aggarwal et de ses coauteurs mesure l’effet de neuf modifications de texte sur la visibilité d’une source dans un moteur de réponse expérimental. La version du 28 juin 2024, acceptée à KDD 2024, décrit un banc de 10 000 requêtes, dont 1 000 constituent le lot de test. Son moteur produit des réponses avec gpt-3.5-turbo à partir des cinq premiers résultats Google. La légende du tableau principal annonce des gains de 41 % sur la visibilité pondérée par la position et de 28 % sur l’impression subjective. Dans Scoring Without the Engine, publié sur arXiv le 7 septembre 2026, une nouvelle évaluation couvrant dix familles de moteurs ne démontre aucun gain de citation pour les trois principaux leviers réévalués.

Points clés

• Selon Aggarwal et ses coauteurs, juin 2024, GEO-bench répartit ses 10 000 requêtes entre entraînement, validation et test : respectivement 8 000, 1 000 et 1 000.
• Le même protocole de juin 2024 génère cinq réponses par requête à une température de 0,7 et évalue les méthodes avec cinq graines aléatoires.
• Dans le tableau principal de cette étude, le bourrage de mots-clés abaisse la mesure de visibilité pondérée par la position, mais augmente légèrement l’impression subjective.
• L’essai Perplexity décrit en juin 2024 porte sur 200 requêtes, avec des sources transmises en fichiers.
• Bajemon et Rochet, septembre 2026, testent des réalisations déterministes des leviers historiques, en contrôlant la longueur ajoutée au texte.

Quel problème l’étude voulait-elle mesurer ?

L’étude mesure la place d’une source dans une réponse rédigée. Dans GEO: Generative Engine Optimization, version du 28 juin 2024, Aggarwal et ses coauteurs décrivent un moteur qui recherche des documents, puis compose une réponse accompagnée de renvois aux sources. Le rang d’un lien renseigne peu sur la quantité de texte finalement attribuée à ce lien.

Les auteurs proposent donc plusieurs mesures. Le Word Count mesure la part des mots de la réponse attribuée à une source par les renvois. Lorsqu’une phrase renvoie à plusieurs sources, ses mots sont répartis à parts égales entre elles. Le Position-Adjusted Word Count, ou PAWC, ajoute une pondération : une phrase située au début de la réponse pèse davantage.

L’« impression subjective » réunit des appréciations sur la pertinence, l’influence ou encore la place perçue de la source. Ces appréciations sont produites par GPT-3.5 selon une procédure inspirée de G-Eval. Elles doivent se lire comme des évaluations par modèle. Pour poursuivre sur ces indicateurs : PAWC, part de citation et rang de la source : les mesures utilisées par la recherche sur le GEO.

Comment GEO-bench a-t-il été construit ?

GEO-bench rassemble des requêtes existantes et des requêtes produites pour l’expérience. Dans leur description du banc d’essai de juin 2024, les auteurs répartissent les 10 000 requêtes entre 8 000 pour l’entraînement, 1 000 pour la validation et 1 000 pour le test. C’est sur ce dernier lot qu’ils évaluent les méthodes.

Les neuf origines sont MS MARCO, ORCAS-I, Natural Questions, AllSouls, LIMA, Davinci-Debate, les questions en tendance de Perplexity.ai, ELI5 et des requêtes produites par GPT-4. Cet assemblage mêle des recherches réelles, des questions de dissertation et des demandes qui nécessitent de rapprocher plusieurs documents.

Le corpus compte 80 % de requêtes informationnelles, 10 % transactionnelles et 10 % navigationnelles. Il couvre 25 domaines. Chaque requête est accompagnée du texte nettoyé des cinq premiers résultats Google. La carte GEO-bench publiée par GEO-Optim sur Hugging Face donne accès au jeu et décrit ses champs.

Pour lire les résultats, nous recommandons de garder cette distinction : la taille totale du banc décrit la ressource disponible ; le lot effectivement évalué délimite l’expérience.

Quel moteur et quelles méthodes ont été testés ?

Le moteur principal est construit pour l’expérience. Selon le protocole d’Aggarwal et de ses coauteurs, juin 2024, il fournit à gpt-3.5-turbo les textes des cinq sources Google, sans résumé préalable de chaque document. Il échantillonne cinq réponses à une température de 0,7.

Les neuf méthodes modifient le texte de façons distinctes :

Une source est tirée au hasard pour chaque requête. Les méthodes sont appliquées séparément à cette même source, puis comparées au texte intact. Les auteurs répètent les expériences avec cinq graines aléatoires et présentent la moyenne.

La distinction entre Cite Sources et Quotation Addition mérite une attention particulière en français : la première ajoute des références documentaires ; la seconde ajoute des propos cités. Elles constituent des interventions séparées.

Quels gains l’étude a-t-elle publiés ?

Le gain dépend de la mesure choisie. Le tableau principal d’Aggarwal et de ses coauteurs, juin 2024, donne les valeurs suivantes sur ses échelles normalisées, ici limitées aux méthodes utiles à la comparaison :

Le résumé annonce « jusqu’à 40 % » de visibilité supplémentaire. La légende du tableau donne 41 % pour le PAWC et 28 % pour l’impression subjective. Ces chiffres décrivent des gains relatifs dans l’expérience ; ils ne mesurent aucun gain de trafic.

Un autre chiffre apparaît dans Scoring Without the Engine, septembre 2026 : +42,6 % pour l’ajout de propos cités. Le calcul à partir du tableau original est bien (27,8 / 19,5 - 1) × 100, arrondi à une décimale. Il correspond à la colonne Word Count, alors que le papier Citead le présente parmi ses gains PAWC de calibration. Cette différence de colonne doit accompagner toute reprise du chiffre.

Les résultats varient aussi avec le domaine et le rang de départ. Dans l’expérience où toutes les sources sont modifiées simultanément, Aggarwal et ses coauteurs rapportent, pour l’ajout de références, +115,1 % au cinquième rang Google et -30,3 % au premier rang, dans leur tableau par position de 2024. Leur analyse par domaine associe notamment l’ajout de statistiques aux questions de droit et de gouvernement. Enfin, les combinaisons de méthodes sont étudiées sur un sous-ensemble de 200 exemples : leur périmètre diffère de celui du tableau principal.

Qu’a donné le test sur Perplexity.ai ?

Le test Perplexity utilise un moteur commercial avec un protocole contrôlé. L’annexe d’Aggarwal et de ses coauteurs, juin 2024, précise que les textes sont transmis en fichiers et que les réponses doivent s’appuyer uniquement sur ces fichiers. L’essai porte sur 200 requêtes du lot de test.

Les auteurs annoncent 22 % d’amélioration du PAWC pour l’ajout de propos cités. Leur tableau affiche 24,1 pour le texte intact et 29,1 après modification : le pourcentage annoncé ne coïncide pas exactement avec le rapport de ces valeurs. Le commentaire rapporte également jusqu’à 9 % sur le PAWC et 37 % sur l’impression subjective pour d’autres méthodes, dont l’ajout de statistiques. Le bourrage de mots-clés est annoncé environ 10 % sous la référence sur le PAWC.

Cette expérience porte sur la façon dont Perplexity exploite des documents fournis. Nous recommandons donc de distinguer la sélection des pages sur le Web de leur utilisation une fois transmises au moteur.

Que reste-t-il de ces chiffres sur les moteurs de 2026 ?

La réévaluation ne démontre aucun gain de citation attribuable aux trois principaux leviers. Dans Scoring Without the Engine, déposé le 7 septembre 2026, Elisha Bajemon et André-Louis Rochet (TW3 Partners, Citead) présentent un programme de tests couvrant dix familles de moteurs. Ils y réévaluent l’ajout de propos cités, de statistiques et de références.

Leur procédure compare le texte intact, le texte modifié et une version allongée avec un ajout neutre de longueur comparable. Ce contrôle sert à distinguer l’effet du levier de celui du volume ajouté. La mesure observe une part de réponse attribuée à la source, pondérée par la position.

Les modifications de texte suivent des règles fixes : l’expérience réévalue ainsi les interventions historiques avec un protocole distinct. Les auteurs précisent que leur cadre reste contrôlé, avec cinq sources préparées et une consigne de citation fixe. Nous retenons donc ce résultat pour le périmètre testé. Le papier positionne le score de contenu comme un filtre de qualité qui ne permet pas de prédire la citation.

Comment lire l’étude aujourd’hui ?

Nous recommandons d’en conserver la méthode de comparaison et de dater chaque résultat repris. La notice arXiv du papier GEO distingue le dépôt initial du 16 novembre 2023 de la version du 28 juin 2024 acceptée à KDD 2024. L’équipe réunit l’Indian Institute of Technology Delhi, Princeton University et des auteurs indépendants.

Avant de réutiliser un pourcentage, identifiez la colonne du tableau, le texte de référence et le moteur évalué. Vérifiez également si le document a été trouvé sur le Web ou fourni directement. Ces précisions permettent de conserver le sens du résultat dans une présentation client.

L’intérêt durable de GEO-bench tient aux requêtes et aux sources publiques qui permettent de refaire des comparaisons. Pour juger une intervention actuelle, nous recommandons une nouvelle mesure dans les réponses du moteur concerné. Cette recommandation rejoint la conclusion de Bajemon et Rochet, septembre 2026, qui maintient les moteurs en fonctionnement comme référence pour l’évaluation causale.

Pour aller plus loin

• Les trois leviers GEO de 2023 ne déplacent plus la citation sur les dix familles de moteurs testées.
• PAWC, part de citation et rang de la source : les mesures utilisées par la recherche sur le GEO.
• Comment les moteurs de réponse choisissent leurs sources : ce que les études publiées permettent d’affirmer en 2026.
• La page de Citead présente son algorithme et ses références.