Par Elisha Bajemon | Publié le 17 octobre 2026

Pourquoi un score calculé sur le seul texte ne prédit pas le choix des sources par les moteurs

En bref

Un score calculé sur le seul texte ne prédit pas le choix des sources pour une question, car il ignore cette question. Dans Scoring Without the Engine, déposé par Elisha Bajemon et André-Louis Rochet le 7 septembre 2026, la composante contenu du score obtient une corrélation de Spearman de 0,114 sur 777 groupes issus de sept familles de moteurs. Le lien observé avec la citation reste modeste. Un modèle qui lit aussi la question atteint 0,388 dans l’étude de classement sur dix bras, dont le corpus compte 1 269 groupes. Ces mesures proviennent d’un protocole contrôlé avec cinq sources candidates. Les auteurs réservent le score indépendant de la question à des usages comme l’audit de site et le contrôle éditorial.

Points clés

Les résultats du papier de Bajemon et Rochet, déposé le 7 septembre 2026 demandent de conserver le périmètre de chaque analyse :

• La corrélation de 0,114 porte sur 777 groupes exploitables des sept bras initiaux. Un groupe associe un moteur et une question.
• Dans l’étude de classement étendue à dix bras et 1 269 groupes, le score fixe obtient 0,119 ; le modèle limité aux caractéristiques du contenu, 0,104.
• Sur ce même corpus de classement, le cross-encodeur qui reçoit la question atteint 0,388, sans entraînement supplémentaire sur ces observations.
• Dans 92 groupes des dix bras où les cinq sources prennent au plus trois notes distinctes, la corrélation moyenne tombe à 0,01.
• L’annexe consacrée aux usages juge excessive une promesse de visibilité par requête fondée sur le score hors ligne.

1. Que mesure une corrélation de Spearman intra-requête ?

Elle mesure à quel point le classement des sources selon leur score rejoint leur classement selon leur visibilité, pour une même question. La documentation de SciPy sur Spearman, sans date définit cette mesure comme une corrélation de rang entre deux séries : lorsque l’une augmente, l’autre tend-elle aussi à augmenter ? Une valeur de zéro indique une corrélation de rang nulle ; une valeur de un correspond à un ordre parfaitement concordant.

Dans le protocole publié par Bajemon et Rochet en septembre 2026, le moteur reçoit la question et ses cinq sources. Il produit une réponse accompagnée de références. La visibilité d’une source repose sur le nombre de mots des phrases qui la citent, pondéré par leur position dans la réponse, puis rapporté à l’ensemble des sources. Le papier appelle cette mesure une part de type PAWC.

L’analyse compare donc des rangs à l’intérieur de chaque groupe, puis les agrège. Elle porte sur la répartition de la visibilité entre les sources candidates. Pour lire le résultat, vous devez conserver ensemble la mesure utilisée et le nombre de groupes analysés.

2. Quelle corrélation le score Citead obtient-il avec la citation ?

L’association mesurée est positive et modeste. Le papier de septembre 2026 distingue plusieurs périmètres, résumés ci-dessous.

Dans l’analyse initiale, le lien est statistiquement significatif sur quatre des sept bras. La réplication conserve un ordre de grandeur proche. Ces observations soutiennent l’existence d’une information liée à la citation dans le contenu, avec une capacité de classement limitée.

La valeur initiale concerne le contenu seul, avant l’ajout de la composante de fraîcheur. L’étude étendue emploie un autre ensemble de groupes : ses résultats doivent conserver cette étiquette lorsque vous les reprenez dans un rapport. Une corrélation ne donne ni une probabilité individuelle de citation ni l’effet causal d’une hausse de note.

3. Pourquoi un score qui ignore la question plafonne-t-il ?

Parce qu’il impose le même ordre aux pages, quelle que soit la question posée. La proposition théorique de Bajemon et Rochet, septembre 2026, part d’une paire de sources. Un score calculé séparément sur chaque texte place toujours la même source devant l’autre. Si leur ordre de visibilité change avec la question, ce classement fixe rencontre nécessairement une limite.

Cette proposition décrit une limite de concordance entre paires de sources. Elle ne fixe pas la corrélation maximale au niveau observé dans l’expérience. Elle explique pourquoi améliorer les seuls critères du texte ne suffit pas à résoudre le choix d’une source pour une question précise.

L’analyse des erreurs apporte un constat complémentaire. Dans les dix bras, les auteurs examinent les 1 213 groupes admissibles pour l’analyse des corrélations. Ils observent une corrélation moyenne plus faible dans les groupes dont les notes sont resserrées. Dans le sous-ensemble des 92 groupes ayant au plus trois notes distinctes parmi les cinq candidats, la corrélation moyenne vaut 0,01.

Cette dispersion reste un diagnostic descriptif. Les tentatives des auteurs pour en faire un indicateur de confiance ont échoué à la validation sur des données tenues à l’écart. Une faible différence entre notes ne fournit donc pas, à elle seule, une règle de décision validée.

4. Que gagne un modèle qui lit la question ?

Il peut comparer le contenu à la demande précise. La documentation de Sentence Transformers sur les cross-encodeurs, sans date décrit un modèle qui reçoit les deux textes ensemble. Dans le papier de Bajemon et Rochet, septembre 2026, cette paire associe une question à une source ; le modèle utilisé est rerank-qa-mistral-4b.

L’étude de classement porte sur dix bras, avec un corpus de 1 269 groupes et 229 questions distinctes. Les modèles entraînés sont évalués sur des questions absentes de leur apprentissage.

Le modèle flexible limité au contenu ne dépasse pas le score fixe. Le cross-encodeur apporte un signal environ trois fois plus fort ; aucun modèle entraîné dans cette étude ne le dépasse de façon fiable. « Sans ajustement » signifie ici sans entraînement supplémentaire sur ce corpus : le cross-encodeur est déjà un modèle appris.

La séparation des questions a aussi révélé une erreur : sur le corpus initial de 819 groupes, sept bras et 229 questions, le modèle limité au contenu passait de 0,485 à 0,065 après correction du partage de questions entre apprentissage et évaluation. Voir aussi Trois erreurs trouvées et corrigées avant publication : l’audit interne d’un papier de recherche appliquée.

5. À quoi le score peut-il servir, alors ?

Il sert à examiner des propriétés du contenu lorsqu’aucune question particulière ne guide l’évaluation. L’annexe sur les usages du papier de septembre 2026 retient notamment l’audit de site, le contrôle éditorial et les tests de régression d’une chaîne de production de contenu.

Pour ces usages, nous recommandons de relier chaque note aux éléments vérifiables dans la page. Lors d’un audit, conservez les critères qui motivent les corrections. En relecture éditoriale, examinez les passages concernés avant de décider d’une réécriture. Pour un test de régression après modification d’une chaîne de rédaction, nous recommandons de reprendre un ensemble de textes conservés et de comparer les résultats avec la même version du score.

Cette méthode organise le travail de correction. Vous pouvez suivre ce qui a changé dans les sources, la structure ou la formulation, qui sont les propriétés mises en avant par la méthodologie Citead, sans date. Pour évaluer la visibilité, il faut aussi observer les réponses produites aux questions suivies.

6. Quelles promesses ce résultat interdit-il ?

Le score ne permet pas de promettre à un client une citation ou un gain de visibilité pour une question. L’annexe du papier de Bajemon et Rochet, septembre 2026 écarte explicitement cet usage. La FAQ de la méthodologie Citead répond elle aussi négativement à la question de la prédiction.

Dans un rapport, nous recommandons de présenter la note comme une mesure des propriétés du texte, puis de documenter séparément les réponses observées. Une amélioration de structure se justifie par les corrections effectuées. Une affirmation sur la visibilité se justifie par les relevés correspondants et leur périmètre.

Les expériences du papier interrogent des modèles par API dans un cadre contrôlé, avec cinq sources et une consigne de citation fixe. Elles ne mesurent pas le parcours d’une page dans les produits grand public.

Pour aller plus loin

• À quoi sert un score de contenu : audit de site, contrôle éditorial et tests de régression.
• Dix modèles testés en conditions contrôlées : ce que les relevés de citation montrent modèle par modèle.
• Lire une étude sur la visibilité dans les IA : corrélation, intervalle de confiance et taille d’échantillon.
• PAWC, part de citation et rang de la source : les mesures utilisées par la recherche sur le GEO.
• Présenter des résultats de suivi à un client sans promettre de citation.