Par Elisha Bajemon | Publié le 17 octobre 2026

Comment mesurer la visibilité dans une réponse IA avec le PAWC ?

En bref

Pour mesurer la visibilité dans une réponse IA, distinguez la place d’une source, son rang parmi les candidates et la fréquence des citations d’un domaine. Le PAWC pondère les mots des phrases qui citent une source selon leur position, dans l’étude GEO d’Aggarwal et ses coauteurs, révisée le 28 juin 2024. Bajemon et Rochet, le 7 septembre 2026 emploient une part comparable sur cinq sources par question. Leurs indicateurs hit@1 et MRR évaluent le classement de ces sources. Le suivi des citations décrit par Citead relève, lui, la présence ou l’absence d’un domaine dans les sources des réponses, moteur par moteur.

Points clés

• Selon Aggarwal et ses coauteurs, juin 2024, le PAWC associe volume de mots et position ; leurs mesures sont ensuite normalisées pour que les parts d’une réponse totalisent 1.
• La même publication évalue l’impression subjective selon sept critères avec GPT-3.5, en suivant une méthode proche de G-Eval.
• Dans la table 11 de Bajemon et Rochet, septembre 2026, hit@1 vaut 0,20 pour « random », 0,25 pour « the score (query-agnostic, fixed) » et 0,45 pour « cross-encoder logit only ».
• La page Suivi des citations IA de Citead décrit un historique des citations et des absences, avec l’extrait et la date. Ce suivi répond à une autre question que la place occupée dans le texte.

Pourquoi faut-il une mesure propre aux réponses rédigées ?

Une réponse peut mêler plusieurs sources dans un même texte. Dans GEO: Generative Engine Optimization, version de juin 2024, Aggarwal et ses coauteurs expliquent que le rang d’un lien dans une page de résultats décrit mal cette situation : la longueur du passage associé à une source et sa présentation comptent aussi.

Le PAWC, pour Position-Adjusted Word Count, traduit cette idée en un comptage pondéré. L’unité observée est la phrase de la réponse accompagnée d’une référence. Il faut donc disposer du texte et des citations pour calculer la mesure.

Pour lire un rapport, Citead recommande de commencer par nommer l’objet observé. Une part PAWC concerne une réponse précise et tient compte de la position des passages cités. Un classement compare des sources candidates. Un taux de citation résume des vérifications répétées. Cette précision évite de rassembler sous le mot « visibilité » des résultats qui répondent à des questions différentes.

Comment le PAWC attribue-t-il une part à chaque source ?

Le PAWC compte les mots des phrases qui citent une source, puis réduit leur poids lorsqu’elles apparaissent plus tard dans la réponse. Dans la définition d’Aggarwal et ses coauteurs, juin 2024, cette décroissance est exponentielle. Lorsqu’une phrase renvoie à plusieurs sources, le comptage des mots est partagé à parts égales entre elles.

La mesure donne ainsi davantage de poids à une phrase située au début. Une source associée à moins de mots peut obtenir une impression supérieure si ses citations apparaissent plus tôt. C’est un choix de mesure destiné à représenter l’exposition du lecteur.

Les auteurs normalisent ensuite les impressions : la somme des parts attribuées aux sources d’une réponse vaut 1. Cette étape permet de lire chaque résultat comme une part relative au sein de la réponse. Elle rend aussi les parts interdépendantes : si l’une augmente, la répartition entre les autres change.

Note de calcul : après pondération, la normalisation s’écrit part de la source = poids de la source / somme des poids des sources. Le poids réunit les mots attribués à la source avec leur pondération de position. Pour comparer une réponse avant et après modification du contenu, l’étude calcule une amélioration relative : la variation de la part est rapportée à sa valeur initiale. Une différence de parts et une amélioration relative doivent donc porter des libellés distincts dans un tableau.

Que recouvre l’impression subjective ?

L’impression subjective ajoute une évaluation de la place perçue d’une source. Aggarwal et ses coauteurs, juin 2024 retiennent sept facettes : la pertinence du passage cité pour la question, l’influence sur la réponse, l’unicité du contenu, la position perçue, la quantité perçue, la probabilité de clic et la diversité du contenu présenté.

Chaque critère est évalué avec GPT-3.5 selon une méthode proche de G-Eval. Le modèle reçoit un formulaire d’évaluation et la réponse accompagnée de ses citations. Les notes reposent sur plusieurs échantillonnages. Les auteurs les ajustent pour leur donner la même moyenne et la même variance que le PAWC, car ils jugent leur calibration insuffisante.

La « probabilité de clic » est donc ici un jugement du modèle. Elle ne correspond pas à des clics enregistrés auprès de lecteurs. Pour reproduire une telle mesure, notre recommandation est de conserver le formulaire et les réponses évaluées, puis de documenter le modèle utilisé et les répétitions. Un intitulé identique ne suffit pas à assurer que deux évaluations ont été réalisées de la même manière.

Comment comparer un score de contenu aux citations observées ?

La comparaison se fait entre les sources proposées pour une même question. Dans Scoring Without the Engine, publié sur arXiv le 7 septembre 2026, Elisha Bajemon et André-Louis Rochet mesurent une part de type PAWC : les mots des phrases qui citent chaque source sont pondérés par leur position, puis normalisés entre les cinq sources.

La corrélation de rang intra-requête compare l’ordre donné par le score de contenu à l’ordre donné par ces parts, pour une même question et un même moteur. La concordance par paires pose une question plus locale : pour deux sources en concurrence, le score et la visibilité observée désignent-ils la même source comme supérieure ? Ces mesures évaluent un accord entre classements.

Les auteurs distinguent cette comparaison d’une intervention sur le contenu. Dans le protocole décrit, ils comparent la variation de part PAWC après ajout de citations textuelles à celle obtenue avec un ajout neutre de même longueur. La table 6 exprime les effets mesurés en différences de parts PAWC, c’est-à-dire en fractions. Il faut conserver cette unité lors d’une reprise, ou expliciter sa conversion en points de pourcentage.

Le papier présente le score indépendant de la question comme un filtre de qualité. Il ne prédit pas la citation. Cette distinction guide la lecture des résultats : un accord entre classements ne suffit pas à conclure qu’une correction éditoriale changera le choix du moteur.

Que mesurent hit@1 et le MRR dans cette étude ?

Dans l’étude de Bajemon et Rochet, septembre 2026, hit@1 est la proportion des groupes évalués où la source placée en tête du classement prédit est celle dont la part PAWC est la plus élevée. Le MRR, ou moyenne des inverses des rangs, tient aussi compte de sa position lorsque le classement prédit la place plus bas.

Le code d’évaluation publié avec l’étude de Bajemon et Rochet précise le calcul. Pour chaque groupe question-moteur, il identifie la source au PAWC maximal. Il relève si elle arrive en tête pour calculer hit@1 ; pour le MRR, il prend l’inverse de son rang dans le classement prédit. Il fait ensuite la moyenne de chaque indicateur sur les groupes retenus. Dans ce script, les groupes dont toutes les parts PAWC sont nulles sont exclus de ces calculs. En cas d’égalité au maximum, le code retient la première source à ce maximum dans l’ordre des données.

La table 11 du papier, septembre 2026 porte sur 229 questions distinctes, 1 269 groupes et dix moteurs. Les modèles ajustés sont évalués en séparant les questions d’apprentissage et de test.

La ligne « full » désigne le modèle LambdaMART complet. « cross-encoder logit only » utilise un signal de pertinence entre la question et la source, sans ajustement dans cette étude. Le papier précise qu’avec cet échantillon, aucun modèle ajusté ne dépasse ce signal de façon fiable. Ces valeurs évaluent la sélection parmi les candidates du protocole ; leur interprétation reste liée à ce cadre.

Que mesure le suivi d’un site en production ?

Le suivi décrit par Citead dans sa page Suivi des citations IA pose chaque semaine les questions choisies à ChatGPT, Perplexity, Gemini et Google AI Overviews. Quand le domaine figure dans les sources de la réponse, la citation est archivée avec l’extrait et la date. Les absences sont également enregistrées.

À partir de ces observations, nous recommandons de définir le taux de citation comme le nombre de vérifications où le domaine apparaît, divisé par le nombre total de vérifications retenues. Le rapport doit préciser le domaine, le panel de questions, le moteur et la période. Les échecs techniques doivent rester identifiables pour que le lecteur comprenne le dénominateur.

La page produit rappelle que les réponses varient entre les exécutions. Conserver le même panel et suivre son historique permet de documenter ce que le moteur a produit au fil du temps. Le suivi décrit porte sur la présence du domaine ; il ne constitue pas un calcul du PAWC.

Comment choisir l’indicateur d’un rapport ?

Choisissez l’indicateur selon la question à laquelle le rapport doit répondre. Le tableau rapproche les définitions des publications et le suivi décrit ci-dessus.

Bajemon et Rochet, septembre 2026 présentent leur protocole à cinq sources et consigne fixe comme une approximation contrôlée de la concurrence sur le Web. Une part PAWC ne se convertit donc pas directement en taux de citation.

Pour un rapport client, Citead recommande un taux par moteur accompagné du périmètre et d’extraits datés. Réservez les métriques de classement aux analyses qui disposent des sources candidates et des réponses nécessaires à leur calcul.

Pour aller plus loin

• L’étude GEO de 2023 (Aggarwal et al., KDD 2024) : ce qu’elle a mesuré et comment la relire avec les moteurs actuels.
• Pourquoi un score calculé sur le seul texte ne prédit pas le choix des sources par les moteurs.
• Lire une étude sur la visibilité dans les IA : corrélation, intervalle de confiance et taille d’échantillon.
• Calculer un taux de citation sur un panel de prompts : formule, taille d’échantillon et marge d’erreur.
• Présenter des résultats de suivi à un client sans promettre de citation.