En bref. L’exactitude des citations évalue l’appui qu’une affirmation trouve dans les éléments de preuve cités, avec des vérifications distinctes de la complétude et de la qualité des sources.
Définition : L’exactitude des citations (citation correctness) mesure si une source citée étaye l’affirmation à laquelle elle est associée. Pour une réponse produite par un assistant IA, cela consiste à comparer l’affirmation au contenu de la page ou du passage cité.
Le point de départ est l’article de Gao et ses collègues publié en 2023, Enabling Large Language Models to Generate Text with Citations. Il présente un banc d’évaluation pour les grands modèles de langage (LLM), nommé Automatic LLMs’ Citation Evaluation (ALCE). ALCE évalue séparément l’exactitude des réponses et la qualité des citations.
Points clés
- L’article sur ALCE évalue si les passages cités étayent une réponse et si des passages non pertinents figurent parmi ses citations.
- L’étude sur la vérifiabilité de Liu et ses collègues définit la précision des citations comme la proportion de citations qui étayent les énoncés auxquels elles sont associées.
- Le cadre Attributable to Identified Sources de Rashkin et ses collègues, abrégé AIS, évalue les énoncés sur le monde extérieur au regard des éléments de preuve fournis. Il traite la qualité des sources comme une évaluation complémentaire.
Comment ALCE vérifie-t-il si les citations étayent les énoncés ?
Pour évaluer les citations, l’article sur ALCE découpe le texte produit en énoncés selon les limites des phrases. Les unités de preuve sont des passages de 100 mots, et un énoncé peut citer plusieurs passages.
L’inférence en langage naturel (natural language inference) consiste à vérifier si un énoncé découle des éléments de preuve fournis. ALCE utilise le modèle d’inférence en langage naturel TRUE pour vérifier si les passages cités, pris ensemble, étayent chaque énoncé. Le rappel des citations correspond à la moyenne de ces vérifications sur les énoncés de la réponse.
Sa méthode automatique de calcul de la précision des citations examine aussi chaque citation individuellement. Une citation est considérée comme non pertinente lorsqu’elle ne peut pas étayer seule l’énoncé et que son retrait laisse les autres citations en mesure de l’étayer. Une citation ne compte dans le calcul de la précision que si les citations, prises ensemble, étayent entièrement l’énoncé. La méthode accepte les citations redondantes qui étayent chacune l’énoncé à elles seules. L’annexe de l’article relève une limite : la méthode automatique peut pénaliser à tort une citation qui apporte un appui partiel.
Quelle différence entre exactitude et complétude ?
L’exactitude des citations concerne l’appui apporté par une référence associée à un énoncé. La complétude des citations concerne la présence de références qui étayent suffisamment les énoncés factuels de la réponse. L’étude sur la vérifiabilité les mesure respectivement par la précision et le rappel des citations.
Son calcul de la précision comptabilise les citations qui étayent entièrement leur énoncé. Il comptabilise aussi celles qui l’étayent partiellement lorsque les citations, prises ensemble, l’étayent entièrement et qu’aucune ne suffit à elle seule. Ces règles interviennent lorsqu’une phrase réunit des affirmations étayées par différentes pages.
Le cadre AIS distingue également l’attribution de l’évaluation de la source elle-même. Sa définition de l’attribution demande si un lecteur peut confirmer un énoncé au regard des éléments fournis. L’examen de la qualité des sources reste une composante distincte de l’évaluation de la fiabilité factuelle.
Comment examiner une citation renvoyant à un site web ?
Un examen manuel peut suivre la méthode d’annotation de l’étude sur la vérifiabilité : repérer la phrase associée à la citation, ouvrir la page liée et comparer son contenu aux affirmations de la phrase. L’étude utilise les catégories d’appui suivantes :
Full support
Partial support
No support
La catégorie Full support correspond à un appui complet, qui couvre toutes les informations de l’énoncé. Partial support correspond à un appui partiel : certaines informations sont étayées, tandis que d’autres sont absentes ou contredites. No support correspond à une absence d’appui : la page est non pertinente ou contradictoire et n’étaye aucune partie de l’énoncé. Lorsque plusieurs citations accompagnent une phrase, l’examen vérifie aussi l’appui qu’elles apportent ensemble.
Pour le propriétaire d’un site web, cet examen évalue, affirmation par affirmation, la manière dont la réponse utilise la page. Une page peut fournir des éléments de preuve pour une partie de la phrase, tandis qu’une autre source apporte les éléments restants.
Termes connexes
- Exhaustivité des citations
- Attribution des réponses aux sources
- Benchmark ALCE
- Attribution aux sources primaires
Questions fréquentes
Un lien fonctionnel suffit-il à établir l’exactitude d’une citation ?
Vous devez encore comparer la page à l’affirmation associée. L’étude sur la vérifiabilité classe le contenu des pages citées selon qu’il apporte un appui complet, partiel ou nul.
Plusieurs pages peuvent-elles étayer ensemble une phrase ?
Oui. La méthode ALCE combine les passages cités pour vérifier s’ils étayent l’énoncé. Son calcul de la précision des citations recherche séparément les références non pertinentes.
Le fait d’étayer une affirmation établit-il la fiabilité de la source ?
Le cadre AIS évalue l’attribution aux éléments de preuve fournis. Il place la qualité des sources parmi les évaluations complémentaires nécessaires à l’évaluation de l’exactitude factuelle.
Sources
- Association for Computational Linguistics, « Enabling Large Language Models to Generate Text with Citations », décembre 2023
- Association for Computational Linguistics, « Evaluating Verifiability in Generative Search Engines », décembre 2023
- MIT Press, « Measuring Attribution in Natural Language Generation Models », décembre 2023
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO