Points clés
- Liu, Zhang et Liang auditent Bing Chat, NeevaAI, perplexity.ai et YouChat sur des réponses de février-mars 2023.
- La moyenne sur les moteurs atteint 51,5 % pour le rappel des citations et 74,5 % pour leur précision dans l’audit de février-mars 2023.
- ChatGPT et Bard sont exclus de cet audit de 2023.
- La vérifiabilité mesure le lien entre phrase et source, sans établir la vérité de la page citée.
Par Elisha Bajemon | Publié le 17 octobre 2026
Les citations des moteurs de réponse sont-elles fiables ? Ce que mesure l’étude de Liu, Zhang et Liang (2023)
En bref
En 2023, les citations étayaient entièrement environ une phrase sur deux en moyenne sur quatre moteurs, selon Liu, Zhang et Liang. Leur audit porte sur Bing Chat, NeevaAI, perplexity.ai et YouChat, avec des réponses recueillies de fin février à fin mars 2023. Le rappel mesure la part des phrases à vérifier entièrement étayées ; la précision mesure la part des citations qui appuient leur phrase. Cette précision atteignait environ trois citations sur quatre en moyenne dans cet audit de 2023. Les auteurs observent une corrélation négative entre précision moyenne des citations et utilité moyenne perçue des moteurs. ChatGPT et Bard étaient exclus de cette évaluation. Ces résultats décrivent la vérifiabilité des réponses de l’époque, sans établir la vérité des pages sources.
Points clés
- Selon le résumé de Liu, Zhang et Liang, version du 23 octobre 2023, le rappel moyen atteint 51,5 % et la précision moyenne 74,5 % dans cet audit de février-mars 2023.
- Le protocole de l’audit des réponses de février-mars 2023 soumet 1 450 requêtes à chaque moteur et mobilise 34 annotateurs humains.
- Sur les moteurs audités en février-mars 2023, les auteurs relèvent une corrélation négative entre précision des citations et utilité perçue : r = -0,96, selon leur analyse des résultats.
- Les auteurs précisent dans la note sur les moteurs évalués que ChatGPT et Bard ne proposaient pas de citations intégrées aux réponses en mars 2023, ce qui explique leur exclusion.
Qu’appelle-t-on la vérifiabilité d’une réponse ?
La vérifiabilité désigne ici la possibilité de contrôler une affirmation à partir des sources que la réponse lui associe. Dans Evaluating Verifiability in Generative Search Engines, version du 23 octobre 2023, Nelson F. Liu, Tianyi Zhang et Percy Liang la mesurent à l’échelle de la phrase.
Le rappel des citations est la proportion de phrases à vérifier qui sont entièrement étayées par les références associées. Les auteurs considèrent que toute affirmation portant sur le monde extérieur mérite une vérification. Ils écartent notamment les questions adressées à l’utilisateur et les déclarations du système sur lui-même.
La précision des citations est la proportion de références qui appuient la phrase à laquelle elles sont rattachées. Pour chaque citation, les annotateurs déterminent si l’appui est complet, partiel ou absent. Des références partielles peuvent compter positivement si, ensemble, elles étayent toute la phrase et qu’aucune ne suffit à elle seule. La mesure accepte donc un travail de synthèse entre plusieurs sources.
Ces indicateurs répondent à des questions complémentaires : les affirmations disposent-elles d’un appui suffisant, et les liens fournis servent-ils effectivement à les vérifier ? Le score F1 de citation combine rappel et précision par leur moyenne harmonique. Pour obtenir une valeur élevée, un moteur doit satisfaire les deux exigences.
Les auteurs distinguent explicitement cette vérifiabilité de l’exactitude factuelle. Une page peut appuyer fidèlement une phrase tout en contenant elle-même une erreur. L’audit évalue la relation entre phrase et source ; le lecteur conserve un jugement à exercer sur la fiabilité de cette dernière.
Comment l’étude a-t-elle été menée ?
L’audit repose sur des réponses collectées puis examinées par des annotateurs humains. Le protocole de Liu et ses coauteurs, publié en 2023, conserve la première réponse complète de chaque moteur, sans poursuivre la conversation. La collecte s’étend de fin février à fin mars 2023.
Chaque moteur reçoit 1 450 requêtes dans cet audit de février-mars 2023. Les questions viennent de jeux aux objectifs différents : NaturalQuestions rassemble des requêtes historiques de Google ; AllSouls reprend des sujets de dissertation du concours d’entrée d’All Souls College ; davinci-debate contient des sujets de débat produits par un modèle. ELI5 apporte des questions explicatives issues de Reddit, et WikiHowKeywords des demandes pratiques dérivées de titres d’articles WikiHow.
Ce choix expose les moteurs à des réponses courtes, des explications développées et des informations présentées en listes ou en tableaux. Pour une partie des questions Reddit, les auteurs interrogent les moteurs dès la création du message. Ils cherchent ainsi à éviter que la réponse provienne simplement du fil qui a fourni la question.
L’évaluation des réponses de février-mars 2023 mobilise 34 annotateurs sur Amazon Mechanical Turk. Ils passent une étape de qualification et reçoivent des retours personnalisés avant l’annotation principale. Ils examinent la fluidité et l’utilité apparente des réponses, puis les éléments nécessaires au calcul du rappel et de la précision.
Chaque paire question-réponse reçoit une annotation principale. Pour contrôler l’accord entre évaluateurs sur les réponses de février-mars 2023, les chercheurs recueillent trois annotations sur un échantillon de 250 paires. Il faut distinguer cette vérification de qualité du protocole principal : toutes les réponses n’ont donc pas été relues par plusieurs personnes.
Quels résultats l’étude publie-t-elle ?
Les tableaux de Liu, Zhang et Liang, publiés en 2023, montrent des écarts importants entre moteurs. Pour les réponses de février-mars 2023, la moyenne sur les moteurs atteint 51,5 % pour le rappel et 74,5 % pour la précision. Les tableaux 7 et 8 de l’annexe donnent les valeurs suivantes, moyennées sur l’ensemble des requêtes.
| Moteur audité de fin février à fin mars 2023 | Rappel des citations, tableau 7 | Précision des citations, tableau 8 |
|---|---|---|
| Bing Chat | 58,7 % | 89,5 % |
| NeevaAI | 67,6 % | 72,0 % |
| perplexity.ai | 68,7 % | 72,7 % |
| YouChat | 11,1 % | 63,6 % |
Dans cet audit de février-mars 2023, perplexity.ai obtient le rappel le plus élevé et Bing Chat la précision la plus élevée. Le choix de l’indicateur change donc la lecture de la comparaison. Un moteur peut associer des liens pertinents aux phrases qu’il référence, tout en laissant d’autres affirmations sans appui suffisant.
L’abstention complique également la comparaison. Selon le tableau 1, NeevaAI ne répond pas à 22,7 % des requêtes de l’audit de février-mars 2023. Son fonctionnement prévoit l’affichage d’une réponse dans une page de résultats classique. Les auteurs signalent que des taux d’abstention différents rendent les comparaisons directes délicates.
Pour votre site, l’implication concerne l’attribution : la présence de son adresse dans une réponse laisse encore à vérifier que votre page étaye réellement la phrase associée. Le taux de précision porte précisément sur cette relation.
Comment l’utilité perçue varie-t-elle avec la précision des citations ?
Les auteurs observent une corrélation négative entre les valeurs moyennes de précision et d’utilité perçue des moteurs. Dans leur analyse de 2023, cette corrélation atteint r = -0,96 pour les moteurs audités en février-mars 2023. Bing Chat présente alors la précision la plus élevée et l’utilité perçue la plus faible ; YouChat présente la situation inverse.
L’hypothèse des chercheurs est la suivante : recopier un passage ou le paraphraser de près facilite son rattachement à la source. Mais le passage repris peut répondre imparfaitement à la question posée. Une réponse fidèle à ses références peut ainsi sembler peu utile.
L’étude en donne un cas documenté : une question porte sur le rôle de la coopération et de la compétition dans l’évolution de la société. Bing Chat reprend des sources sur l’évolution biologique. Les références appuient les passages reproduits, tandis que la réponse s’éloigne du sujet demandé.
La corrélation observée concerne les systèmes évalués ; elle ne permet pas de déduire qu’une réponse particulière est mal sourcée parce que vous la trouvez utile.
Ces chiffres valent-ils pour les moteurs de 2026 ?
Ces résultats décrivent les réponses recueillies en février-mars 2023, sans mesurer les performances des moteurs en 2026. La version du 23 octobre 2023 de l’étude précise cette période de collecte et les moteurs concernés.
ChatGPT et Bard sont explicitement exclus : selon les auteurs, ils ne proposaient pas de citations intégrées aux réponses en mars 2023.
Pour réutiliser ces résultats dans un article ou une présentation, nous recommandons de conserver ensemble la date de collecte, le nom du moteur et la définition de la mesure. Pour situer cette étude parmi les autres travaux du dossier, reportez-vous à « Comment les moteurs de réponse choisissent leurs sources : ce que les études publiées permettent d’affirmer en 2026 ».
Que peut en tirer l’éditeur d’un site ?
Vous pouvez contrôler les affirmations que les réponses rattachent à vos pages. Dans sa présentation du score disponible au 9 octobre 2026, Citead cite l’étude de Liu, Zhang et Liang dans le critère de citabilité et dans la FAQ consacrée aux affirmations chiffrées.
Notre recommandation de relecture consiste à ouvrir la page liée, puis à comparer son contenu avec la phrase de la réponse. Vérifiez le sujet précis, le périmètre et la date de l’affirmation. Si la phrase s’appuie sur plusieurs références, examinez leur contribution commune avant de conclure que votre page devrait tout contenir.
Conservez également la réponse et la date du contrôle. La présentation du suivi Citead disponible au 9 octobre 2026 indique que chaque citation détectée du domaine est archivée avec son extrait et sa date, et que les absences sont également enregistrées. Cet historique fournit un point de départ pour la comparaison avec votre page.
Dans vos propres articles, nous recommandons de rattacher chaque chiffre au document qui le publie et d’expliciter la population ou la période concernée. L’objectif est de permettre au lecteur de refaire la vérification. La documentation du score rappelle que celui-ci évalue des propriétés de la page et ne prédit pas sa reprise. Le dossier comprend aussi « Pourquoi un score calculé sur le seul texte ne prédit pas le choix des sources par les moteurs ».