En bref. ALCE évalue la fluidité, l’exactitude des réponses et la qualité des citations des systèmes qui recherchent des éléments probants et produisent des réponses accompagnées de citations.
Définition : ALCE, abréviation d’Automatic LLMs’ Citation Evaluation, est un banc d’essai (benchmark) qui évalue les systèmes recherchant des éléments probants et produisant des réponses accompagnées de citations. Il mesure séparément la fluidité, l’exactitude des réponses et la qualité des citations.
L’article Enabling Large Language Models to Generate Text with Citations, de Tianyu Gao, Howard Yen, Jiatong Yu et Danqi Chen, présente ALCE à la conférence EMNLP en décembre 2023.
Points clés
- Le résumé de l’article décrit une tâche de bout en bout : les systèmes recherchent des éléments probants et produisent des réponses accompagnées de citations.
- L’article publié évalue le rappel des citations (citation recall), qui indique si les affirmations sont entièrement étayées, et la précision des citations (citation precision), qui repère les citations non pertinentes.
- Le dépôt ALCE des auteurs fournit du code et des données pour ASQA, QAMPARI et ELI5, ainsi que des implémentations des méthodes de référence de l’article.
Que comprend l’évaluation de bout en bout ?
Dans la section 2 de l’article, un système reçoit une question et un corpus, c’est-à-dire un ensemble de passages de texte. Il recherche les passages pertinents, rédige une réponse et y associe des citations renvoyant aux passages qui l’étayent. Le benchmark découpe les documents en passages de 100 mots.
L’évaluation considère chaque phrase comme une affirmation, sauf pour QAMPARI, où chaque entité de la liste compte comme une affirmation. Une affirmation peut citer plusieurs passages. Ce protocole évalue conjointement la recherche d’éléments probants et la construction de la réponse.
Quels jeux de données ALCE utilise-t-il ?
La description des jeux de données précise que 1 000 exemples sont échantillonnés dans l’ensemble de développement de chaque jeu de données.
| Jeu de données | Tâche de réponse | Corpus de recherche |
|---|---|---|
| ASQA | Résoudre des questions factuelles ambiguës par une réponse longue couvrant les différentes interprétations. | Un instantané de Wikipédia daté du 20 décembre 2018. |
| QAMPARI | Fournir une liste d’entités dont les réponses proviennent de différents passages. | Le même instantané de Wikipédia. |
| ELI5 | Répondre à des questions explicatives issues du forum Explain Like I’m Five de Reddit. | Sphere, une collection filtrée issue de Common Crawl. |
Pour ELI5, l’article précise également que les pages de Reddit sont exclues du corpus de recherche. ALCE fournit des exemples d’évaluation sans données d’entraînement comportant des annotations supervisées de citations.
Comment les réponses et les citations sont-elles évaluées ?
La section 3 utilise MAUVE, une métrique d’évaluation de texte, pour mesurer la fluidité sur ASQA et ELI5. Les réponses sous forme de liste de QAMPARI sont exclues de cette mesure de fluidité.
L’exactitude dépend du jeu de données. ASQA mesure le nombre de réponses courtes de référence présentes dans la réponse produite. QAMPARI compare les entités prédites aux réponses de référence et attribue un rappel maximal lorsque la réponse contient au moins cinq réponses correctes. ELI5 mesure la couverture des affirmations produites à partir des réponses de référence.
Pour la qualité des citations, ALCE utilise TRUE, un modèle d’inférence en langage naturel (natural language inference). L’inférence en langage naturel vérifie si des éléments probants étayent une affirmation. Le rappel des citations correspond à la moyenne, sur l’ensemble des affirmations, d’un test vérifiant si chacune possède des citations dont les passages, réunis, l’étayent entièrement. La précision des citations examine chaque référence : une citation est non pertinente lorsqu’elle ne suffit pas à étayer l’affirmation et que son retrait laisse les autres citations l’étayer entièrement. Une citation ne contribue positivement à la précision que si son affirmation satisfait également au test de rappel.
La section de l’article consacrée aux limites indique que l’exactitude du modèle d’inférence constitue une contrainte pour ces scores automatiques de citation.
Comment se déroule une évaluation ?
Au 17 octobre 2026, les instructions du dépôt donnent cette commande pour évaluer un fichier de résultats ELI5 :
python eval.py --f {path/to/result/file} --citations --claims_nli --mauve
Les options demandent l’évaluation des citations, de la couverture des affirmations et de la fluidité. L’évaluateur enregistre les résultats avec le suffixe .score. Le dépôt distribue aussi des résultats de recherche précalculés, qui permettent de mener l’évaluation avec les passages fournis comme éléments probants.
Termes associés
- Exactitude des citations
- Exhaustivité des citations
- Génération augmentée par la recherche (RAG)
- Ancrage (grounding)
Questions fréquentes
ALCE vérifie-t-il qu’une réponse répond à la question ?
Oui. L’évaluation de l’exactitude compare les réponses produites à des réponses de référence ou à des affirmations qui en sont dérivées. L’évaluation des citations vérifie séparément si les passages associés à la réponse l’étayent.
Puis-je utiliser ALCE avec des résultats de recherche existants ?
Oui. Les instructions du dépôt relatives aux données fournissent les 100 premiers passages retrouvés par question pour ASQA, QAMPARI et ELI5, ainsi que le code permettant de reproduire la recherche.
Sources
- ACL Anthology, "Enabling Large Language Models to Generate Text with Citations", décembre 2023
- Association for Computational Linguistics, "Enabling Large Language Models to Generate Text with Citations", article intégral, décembre 2023
- Princeton NLP, "ALCE repository README", consulté le 17 octobre 2026
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO