En bref. Une citation correcte étaye une affirmation, tandis qu’une citation fidèle reflète aussi le rôle causal de cette source dans la génération de l’affirmation par le modèle.

Définition : Oui. L’exactitude des citations (citation correctness) signifie que le document cité étaye l’affirmation associée. La fidélité des citations (citation faithfulness) exige en plus que ce document fasse partie du contexte récupéré par le modèle et influence causalement la production de l’affirmation.

Dans Correctness is not Faithfulness in RAG Attributions, publié le 23 décembre 2024, Jonas Wallat et ses collègues distinguent ces propriétés. La génération augmentée par récupération (retrieval-augmented generation, RAG) fournit au modèle des documents récupérés pour produire une réponse. Une réponse peut concorder avec un document tout en provenant des connaissances mémorisées du modèle.

Points clés

La définition de la fidélité des citations de Wallat et ses collègues exige que le document cité étaye l’affirmation et joue un rôle causal dans sa production.
L’article ALCE, qui présente Automatic LLMs’ Citation Evaluation, utilise un modèle d’inférence en langage naturel pour tester si les passages cités impliquent les affirmations produites.
Au 17 octobre 2026, le dépôt ALCE fournit post_hoc_cite.py, un script qui ajoute des citations après la génération de la réponse.

Comment l’appui documentaire et l’utilisation effective peuvent-ils diverger ?

La distinction porte sur la relation testée. Vérifier l’appui documentaire consiste à examiner si le document contient des éléments qui étayent l’affirmation. Vérifier l’utilisation effective consiste à examiner si ces éléments influencent la production de l’affirmation par le modèle.

Dans l’exemple illustratif de Wallat et ses collègues, une réponse désigne Berlin comme capitale de l’Allemagne et cite un document contenant cette information. La citation peut refléter l’utilisation du document pendant la génération. Le modèle peut aussi produire la réponse à partir de ses connaissances mémorisées, puis sélectionner le document concordant. L’article nomme ce second processus rationalisation a posteriori (post-rationalization).

Les deux processus peuvent produire les mêmes réponse et citation visibles. La lecture de la page citée permet de vérifier l’appui documentaire ; le processus de génération reste un objet d’investigation distinct. L’article distingue aussi l’exactitude des citations de l’exactitude factuelle de la réponse : une citation peut représenter fidèlement une source contenant des informations fausses.

Que modifie l’expérience ?

L’expérience de l’étude utilise le modèle Command-R+ de Cohere avec des questions de NaturalQuestions et des passages récupérés dans Wikipédia. Les chercheurs génèrent des réponses avec citations, en sélectionnent de courts énoncés et les ajoutent à d’autres documents. Ils génèrent ensuite de nouvelles réponses avec le contexte modifié et examinent les citations.

Les documents modifiés comprennent des documents aléatoires, des documents pertinents jusque-là non cités et des documents cités pour d’autres informations. De courts concepts comme « Emperor penguin » apparaissent sans le contexte factuel nécessaire pour étayer l’affirmation initiale. Cette manipulation teste une condition nécessaire proposée : l’ajout de contenu non pertinent doit laisser l’attribution inchangée lorsque la réponse reste inchangée.

Pour les documents pertinents jusque-là non cités, l’article rapporte que le document modifié reçoit la citation ciblée dans 57 % des cas où l’énoncé initial est retrouvé. Ce pourcentage concerne ce modèle et cette intervention. Les changements de citation observés constituent des indices compatibles avec une rationalisation a posteriori, selon l’hypothèse formulée par les chercheurs au sujet des concepts insérés.

Comment distinguer ces vérifications dans un audit ?

La méthode d’évaluation ALCE vérifie l’appui textuel par inférence en langage naturel, un test déterminant si un texte en implique un autre. Elle permet d’évaluer si un passage cité étaye une phrase.

Pour examiner l’utilisation effective des sources, Wallat et ses collègues proposent des modifications contrôlées du contexte. Modifier les informations pertinentes d’une source doit modifier la réponse ou les éléments qui l’étayent ; ajouter des documents non pertinents doit préserver l’attribution lorsque la réponse reste inchangée. Un audit peut présenter ses constats comme des vérifications de l’appui documentaire ou des résultats d’intervention, en explicitant la relation testée.

La commande du dépôt ALCE pour ajouter des citations après coup rend cet ordre des opérations concret :

python post_hoc_cite.py --f result/{RESULT JSON FILE NAME} --external_docs data/{CORRESPONDING DATA}

Ce script recherche des passages à l’appui d’une réponse déjà produite. Son résultat illustre pourquoi trouver une citation qui étaye la réponse et établir l’origine de cette réponse nécessitent des éléments de preuve différents.

Termes associés

Questions fréquentes

Pouvez-vous vérifier la fidélité en ouvrant la page citée ?

Ouvrir la page permet de vérifier l’appui documentaire. L’exemple de Wallat et ses collègues montre que des réponses et citations identiques peuvent résulter d’une utilisation du document ou d’une rationalisation a posteriori.

Une citation incorrecte prouve-t-elle que la réponse est fausse ?

L’article traite séparément l’exactitude de la réponse et celle de la citation. Une affirmation peut être vraie alors que le document qui lui est associé ne l’étaye pas.

Devez-vous présenter le pourcentage de l’étude comme une référence pour la recherche par IA ?

Indiquez le modèle et l’intervention avec le résultat. Le chiffre de 57 % concerne des documents modifiés, pertinents mais jusque-là non cités, dans l’expérience sur Command-R+, lorsque l’énoncé initial est retrouvé dans la nouvelle réponse.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Une citation correcte peut-elle donner une image trompeuse de l’utilisation des sources par le modèle ?