Comment vérifier qu’une citation étaye une affirmation dans une réponse ?

Définition : Vérifier qu’une citation étaye une affirmation consiste à comparer un énoncé de la réponse aux éléments probants de la source citée. L’évaluation des citations d’ALCE détermine si les passages cités, pris ensemble, étayent entièrement l’énoncé à partir des seules informations qu’ils contiennent.

Points clés

• L’article sur ALCE distingue le rappel des citations (citation recall), qui vérifie si les énoncés de la réponse sont étayés, de la précision des citations (citation precision), qui repère les citations non pertinentes.
• FActScore définit un fait atomique comme une phrase courte qui transmet une seule information, ce qui permet de vérifier séparément les informations d’une même phrase.
• L’étude de Liu, Zhang et Liang sur la vérifiabilité demande aux évaluateurs de déterminer si les sources étayent entièrement, partiellement ou aucunement l’énoncé, puis de copier l’ensemble minimal de phrases de la source qui l’étayent.

Comment ALCE vérifie-t-il qu’un énoncé est étayé ?

Dans la méthode d’évaluation d’ALCE, les énoncés de la réponse correspondent généralement aux phrases. Le banc d’évaluation (benchmark) utilise des passages de 100 mots comme éléments probants. Pour chaque énoncé, il concatène les passages cités et applique l’inférence en langage naturel (natural language inference) : un test qui détermine si les éléments probants impliquent l’énoncé, c’est-à-dire s’ils permettent de le tenir pour vrai.

Les passages cités constituent la prémisse ; l’énoncé de la réponse constitue l’hypothèse. Un énoncé obtient un point au titre du rappel des citations lorsqu’il comporte une citation et que les passages réunis l’étayent entièrement. Le score est la moyenne des scores des énoncés.

La précision des citations ajoute une vérification distincte pour chaque référence. ALCE considère une citation comme non pertinente lorsqu’elle ne peut pas étayer l’énoncé à elle seule et que les citations restantes suffisent encore à l’étayer après son retrait. Sa méthode accepte les références redondantes qui étayent chacune entièrement une affirmation.

Pour une vérification manuelle, la question correspondante consiste à déterminer si l’énoncé entier découle des seuls éléments cités. Même lorsqu’une source porte sur le même sujet, elle doit contenir un passage qui étaye l’affirmation précise.

Comment vérifier une phrase qui contient plusieurs faits ?

La méthode de FActScore décompose une réponse en faits atomiques et attribue à chacun une étiquette selon qu’il est étayé ou non par une source de connaissances donnée. Cette méthode part du constat qu’une phrase peut mêler des informations étayées et non étayées.

Appliquée à la vérification des citations, cette approche suggère de décomposer une phrase en affirmations distinctes tout en conservant leur lien avec la citation d’origine. Chaque affirmation fait l’objet d’une vérification des éléments probants. La partie non étayée devient ainsi visible lorsqu’une source n’étaye qu’une partie de la phrase.

Le périmètre de la source compte : FActScore évalue si un fait est étayé par une source de connaissances choisie. Pour la question plus précise de savoir si une citation dans une réponse étaye l’affirmation correspondante, la vérification porte sur le contenu cité. Les éléments trouvés ailleurs peuvent être consignés séparément dans le cadre d’une vérification factuelle complémentaire.

Quels éléments probants conserver lors de la vérification ?

Les consignes d’annotation de l’étude sur la vérifiabilité imposent d’interpréter l’énoncé dans le contexte de la question et de la réponse complète. Cela permet de comprendre les renvois dont le sens dépend du texte précédent. Les évaluateurs vérifient ensuite toutes les informations de l’énoncé à partir du document cité.

L’étude distingue les énoncés entièrement étayés, partiellement étayés et aucunement étayés. Elle consigne aussi séparément les articles inaccessibles. En présence de plusieurs citations, les évaluateurs vérifient si leurs contenus réunis étayent entièrement l’énoncé et signalent les contradictions entre les sources.

Une vérification manuelle peut utiliser la fiche suivante, dont le champ consacré aux éléments probants contient l’ensemble minimal de phrases justificatives demandé par l’étude :

{
  "answer_statement": "",
  "cited_url": "",
  "support_judgment": "",
  "evidence_sentences": [],
  "unsupported_assertions": []
}

Les noms des champs constituent une proposition de format d’audit. Le jugement et le passage conservé permettent à un autre évaluateur d’examiner la même comparaison entre l’affirmation et la source.

Termes associés

• Exactitude des citations
• Exhaustivité des citations
• Benchmark ALCE
• FActScore

Questions fréquentes

Plusieurs citations peuvent-elles étayer ensemble un énoncé ?

Oui. ALCE vérifie si les passages cités concaténés étayent l’énoncé. Vous pouvez vérifier la contribution de chaque source, puis évaluer les éléments probants qu’elles apportent ensemble.

Que faire si je ne peux pas ouvrir la page citée ?

Consignez séparément le problème d’accès. Les consignes de l’étude sur la vérifiabilité prévoient un jugement « article inaccessible » pour les cas tels qu’un accès payant ou un lien mort.

Sources

1. Association for Computational Linguistics, « Enabling Large Language Models to Generate Text with Citations », décembre 2023
2. Association for Computational Linguistics, « FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation », décembre 2023
3. Association for Computational Linguistics, « Evaluating Verifiability in Generative Search Engines », décembre 2023

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO