En bref. L’exhaustivité des citations mesure si les énoncés vérifiables d’une réponse sont entièrement étayés par les citations qui leur sont associées.
Définition : L’exhaustivité des citations (citation completeness) mesure la part du contenu vérifiable d’une réponse entièrement étayée par les sources qui lui sont associées. Le rappel des citations (citation recall) exprime cette mesure sous la forme de la proportion d’énoncés entièrement étayés par leurs citations.
Points clés
- Dans Evaluating Verifiability in Generative Search Engines, Liu et ses collègues définissent le rappel des citations sur l’ensemble des énoncés nécessitant une vérification, y compris les affirmations qui semblent évidentes ou relever du bon sens.
- Le banc d’évaluation ALCE de Gao et ses collègues, dont le nom signifie Automatic LLMs’ Citation Evaluation, confronte un énoncé à l’ensemble des passages qu’il cite, ce qui permet de combiner les éléments probants pour l’étayer entièrement.
- Le cadre d’attribution de Rashkin et ses collègues évalue si une réponse restitue fidèlement sa source ; la fiabilité de la source fait l’objet d’une évaluation distincte.
Comment calculer l’exhaustivité ?
La méthode d’évaluation de Liu et ses collègues découpe une réponse en phrases et exclut les énoncés qui ne nécessitent aucune vérification, comme les questions adressées à l’utilisateur. Sa définition se traduit par la formule suivante :
rappel des citations = énoncés nécessitant une vérification entièrement étayés
/ ensemble des énoncés nécessitant une vérification
Une phrase factuelle sans citation reste au dénominateur et n’apporte aucun point au score. Une phrase qui contient plusieurs affirmations vérifiables indépendamment doit être étayée pour chacune d’elles. Le même article définit la précision des citations comme la proportion de citations qui étayent les énoncés auxquels elles sont associées. L’évaluation de l’exhaustivité exige donc d’examiner aussi bien le contenu sans citation que le contenu accompagné de citations.
Quand les sources étayent-elles suffisamment un énoncé ?
Le cadre Attributable to Identified Sources, ou AIS, vérifie si les informations contenues dans la réponse d’un modèle restituent fidèlement les éléments probants fournis. Ses consignes d’annotation établissent d’abord si la réponse est compréhensible dans son contexte. La question d’origine peut être nécessaire pour clarifier le sens des pronoms et des réponses courtes.
Les consignes demandent ensuite de déterminer si toutes les informations de la réponse sont étayées. Des informations manquantes ou une restitution inexacte empêchent de conclure à un étayage complet. Un passage qui traite du même sujet ne suffit pas s’il laisse une partie de l’affirmation sans fondement.
AIS traite la qualité des sources et la pertinence par rapport à la question comme des tâches d’évaluation distinctes. Une évaluation de l’exhaustivité doit donc s’accompagner d’un examen de la fiabilité des éléments probants et de l’utilité de la réponse.
Comment auditer une réponse ?
Le protocole d’évaluation humaine d’ALCE de Gao et ses collègues fournit aux annotateurs la question, une phrase et tous les passages qu’elle cite. Ils déterminent si ces éléments probants, pris ensemble, étayent chaque affirmation de la phrase, puis calculent la moyenne des évaluations par phrase sur l’ensemble de la réponse.
Pour un audit de site web, cette procédure suggère une grille associant chaque phrase de la réponse aux passages correspondants et à une évaluation de son étayage complet, avec des lignes également prévues pour les phrases factuelles sans citation.
ALCE automatise cette vérification par l’inférence en langage naturel, qui détermine si un énoncé découle des éléments probants. Sa mesure du rappel exige une citation associée à l’énoncé et un étayage complet.
Termes connexes
- Exactitude des citations
- Benchmark ALCE
- Étude sur la vérifiabilité de la recherche par IA
- Attribution aux sources primaires
Questions fréquentes
Plusieurs sources peuvent-elles étayer conjointement une phrase ?
Oui. Le calcul du rappel d’ALCE combine les passages cités avant de vérifier l’étayage. Vous pouvez évaluer leurs éléments probants conjointement, même lorsqu’un passage pris isolément ne couvre qu’une partie de la phrase.
Un étayage complet établit-il la fiabilité de la source ?
Les consignes d’annotation d’AIS distinguent la restitution fidèle de la fiabilité de la source. Vous évaluez la fiabilité indépendamment de la fidélité avec laquelle la réponse restitue les éléments probants fournis.
Sources
- Association for Computational Linguistics, « Evaluating Verifiability in Generative Search Engines », 2023
- Association for Computational Linguistics, « Enabling Large Language Models to Generate Text with Citations », 2023
- MIT Press, « Measuring Attribution in Natural Language Generation Models », 2023
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO