En bref. Une citation fidèle relie un énoncé étayé à un document qui exerce une influence causale sur sa génération.

Définition : La fidélité des citations (citation faithfulness) mesure si un document cité influence effectivement l’énoncé produit par un assistant IA. Selon la définition proposée par Wallat et ses collègues, une citation fidèle renvoie à un document disponible pendant la génération, qui étaye l’énoncé et exerce une influence causale sur celui-ci.

Points clés

L’article de Wallat et ses collègues, Correctness is not Faithfulness in RAG Attributions, publié en décembre 2024, distingue l’appui fourni par une citation de l’utilisation effective de la source.
L’article présentant ALCE évalue la qualité des citations au moyen du rappel, qui vérifie si les énoncés sont étayés, et de la précision, qui repère les citations non pertinentes.
ContextCite distingue les sources qui conduisent un modèle à produire un énoncé de celles qui en étayent le contenu.

Quelle différence entre fidélité et exactitude des citations ?

L’exactitude d’une citation signifie que le document référencé étaye l’affirmation associée. La génération augmentée par la recherche (retrieval-augmented generation, RAG) fournit à un modèle de langage des documents récupérés, qui servent de contexte pour produire une réponse. La fidélité concerne la manière dont le modèle utilise ce contexte.

Dans l’exemple de Wallat et de ses collègues, un modèle répond à une question sur la capitale de l’Allemagne et cite un document contenant la réponse. La même citation visible peut résulter de la lecture du document ou du rappel de la réponse à partir des connaissances internes du modèle, suivi de la recherche d’un élément concordant qui l’étaye. Les auteurs nomment ce second processus rationalisation a posteriori.

Leur définition formelle exige à la fois que le document étaye l’énoncé et qu’il exerce une influence causale. Un document peut donc étayer une réponse correcte alors que la citation donne une image erronée de l’origine des informations du modèle. Dans cet exemple, le texte de la réponse et le lien seuls ne permettent pas de distinguer ces processus.

Comment l’article teste-t-il l’utilisation des sources ?

L’étude de décembre 2024 teste Command-R+ sur NaturalQuestions, un jeu de données de questions-réponses. Le système récupère des documents et produit des réponses accompagnées de citations. Les chercheurs prélèvent dans ces réponses de courts énoncés associés à des citations, les ajoutent à la fin d’autres documents, puis font produire de nouvelles réponses.

Une condition expérimentale modifie des documents que le modèle considère auparavant comme pertinents, mais qu’il ne cite pas. La figure de l’article indique :

Condition portant sur des documents pertinents mais auparavant non cités
Paires question-réponse modifiées : 702
Énoncé initial retrouvé : 476
Document modifié cité pour cet énoncé : 273
Taux rapporté parmi les énoncés retrouvés : 57 %

Le dénominateur compte : le pourcentage porte sur les cas où l’énoncé initial réapparaît après la modification du contexte. L’expérience teste si de courtes correspondances textuelles orientent les citations vers les documents modifiés. Elle apporte des éléments attestant une rationalisation a posteriori dans ce protocole ; le taux rapporté décrit cette expérience avec Command-R+.

Les auteurs signalent une hypothèse non résolue : pour que leur interprétation du test soit valide, l’insertion de contenu non pertinent doit laisser inchangé le processus de décision sous-jacent du modèle.

Que peut vérifier le propriétaire d’un site ?

Un audit des éléments à l’appui d’une réponse compare une affirmation de cette réponse au passage cité. L’évaluation ALCE utilise l’inférence en langage naturel, une tâche qui évalue si une prémisse étaye une hypothèse, pour automatiser cette comparaison. Elle mesure ainsi la relation entre le contenu du document et l’énoncé.

Tester l’influence exige d’intervenir sur le contenu fourni au modèle. ContextCite appelle ablation du contexte le retrait d’éléments sélectionnés dans le contexte. Il évalue l’attribution en mesurant comment l’exclusion de sources modifie la probabilité de la réponse initiale. Cela nécessite un accès au dispositif de génération et aux probabilités du modèle.

Pour l’audit d’un site, la distinction pratique se situe entre la vérification de l’appui fourni par une page liée et l’analyse expérimentale de son influence. Une trace de la citation visible sert à la première démarche ; les tests de causalité décrits dans ces articles exigent un accès supplémentaire au système.

Termes associés

Questions fréquentes

Une citation exacte peut-elle manquer de fidélité ?

Oui. Dans l’exemple de Wallat et de ses collègues, le modèle peut répondre à partir de ses connaissances internes, puis associer un document à l’appui de sa réponse. La citation étaye l’affirmation tout en donnant une image erronée du rôle du document dans sa génération.

Retirer une source suffit-il toujours à trancher ?

Les limites de ContextCite décrivent des cas où plusieurs sources contiennent la même information : la réponse peut ne changer que lorsque toutes sont retirées. L’article explique aussi que la suppression d’une phrase peut modifier le sens d’un pronom restant, ce qui complique l’interprétation du test.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Fidélité des citations