En bref. RAGTruth est un corpus annoté par des humains pour entraîner et évaluer la détection d’affirmations non étayées ou contradictoires dans les réponses des modèles.

Définition : RAGTruth est un jeu de données annoté par des humains pour détecter les affirmations qui contredisent le contexte fourni à un modèle de langage ou qui ne sont pas étayées par ce contexte. Ses réponses reposent sur la génération augmentée par recherche (retrieval-augmented generation, RAG), une méthode qui fournit à un modèle des informations issues d’une recherche lorsqu’il produit du texte.

Points clés

L’article sur RAGTruth, publié en août 2024, décrit près de 18 000 réponses produites naturellement, avec des annotations manuelles à l’échelle des réponses et des mots.
L’article intégral couvre les questions-réponses, la rédaction à partir de données (data-to-text) et le résumé d’articles de presse, avec six réponses de modèles par entrée.
En octobre 2026, la documentation du dépôt des auteurs décrit des fichiers distincts pour les réponses et les sources, reliés par source_id, et indique l’appartenance de chaque réponse au sous-ensemble train ou test.

Quels éléments de référence le corpus contient-il ?

La section de l’article consacrée à la construction du corpus décrit les éléments fournis pour chaque tâche. La tâche de questions-réponses utilise des questions de la vie quotidienne échantillonnées dans MS MARCO, avec trois passages issus d’une recherche par question. Les modèles reçoivent pour consigne de répondre uniquement à partir de ces passages.

La rédaction à partir de données consiste à produire un texte à partir de fiches structurées. RAGTruth utilise des fiches d’établissements de restauration et de vie nocturne issues du Yelp Open Dataset, complétées par un maximum de trois avis clients. Ce contexte est présenté au format JSON. Le résumé d’articles de presse utilise des articles de CNN/Daily Mail et une collection distincte d’actualités récentes.

Ces entrées permettent de vérifier concrètement l’ancrage dans les sources (grounding) : une réponse peut être comparée aux passages issus de la recherche, et une présentation d’établissement aux attributs et aux avis fournis. Le contexte associé à la réponse constitue l’unité de référence.

Comment les segments non étayés sont-ils annotés ?

Un segment (span) est une portion continue du texte d’une réponse. La méthode d’annotation de l’article classe les segments en quatre catégories : contradiction manifeste, contradiction subtile, introduction manifeste d’informations sans fondement et introduction subtile d’informations sans fondement. La contradiction désigne un désaccord avec le contexte ; les informations sans fondement ajoutent des éléments que ce contexte n’étaye pas. Chaque réponse est étiquetée indépendamment par deux annotateurs, avec un troisième examen en cas de désaccord important.

Le même article distingue l’appui sur les sources de la véracité possible d’une affirmation en dehors du contexte fourni. Son annotation implicit_true signale une information absente de la référence, mais qui peut néanmoins être vraie. Son annotation due_to_null signale les erreurs dues à l’interprétation d’une valeur manquante comme fausse dans les fiches d’établissements. Cette distinction intervient lorsqu’un champ ne précise pas un attribut de l’établissement.

Les descriptions des fichiers du dépôt donnent la vue synthétique suivante des champs :

response.jsonl
  source_id
  response
  labels: start, end, text, label_type

source_info.jsonl
  source_id
  task_type
  source_info
  prompt

start et end situent un segment annoté dans la réponse ; text contient le segment lui-même. La correspondance des valeurs de source_id relie la réponse produite à son contexte et à son instruction initiale (prompt).

Que mesure une évaluation avec RAGTruth ?

La section de l’article consacrée à l’évaluation distingue la détection à l’échelle des réponses, qui détermine si une réponse contient une hallucination, de la détection à l’échelle des segments, qui localise le texte concerné. Ici, une hallucination désigne un contenu qui contredit les éléments fournis ou qui n’est pas étayé par ceux-ci.

Les auteurs rapportent la précision, le rappel et le score F1 pour la détection à l’échelle des réponses. La précision mesure la proportion de réponses signalées qui contiennent effectivement des hallucinations ; le rappel mesure la proportion de réponses concernées qui sont détectées ; le score F1 combine les deux. L’évaluation à l’échelle des segments mesure le chevauchement avec les annotations humaines au niveau des caractères.

Pour une agence qui évalue un outil vérifiant l’appui des réponses sur les sources, cette distinction sépare le repérage d’une réponse concernée de la localisation exacte des formulations non étayées. Les auteurs indiquent que la généralisation à d’autres jeux de données et contextes nécessite une évaluation complémentaire.

Termes associés

Questions fréquentes

Une affirmation vraie peut-elle recevoir une étiquette d’hallucination ?

Oui. Selon les critères stricts d’ancrage dans les sources de l’article, une information absente de la référence fournie peut recevoir une étiquette d’hallucination même si elle peut être vraie. L’indicateur implicit_true consigne ce cas.

Comment relier une réponse aux éléments qui l’étayent ?

Faites correspondre source_id dans response.jsonl au même champ dans source_info.jsonl, comme le décrit le README du dépôt. L’enregistrement source contient le contexte et l’instruction ; l’enregistrement de la réponse contient le texte produit et les étiquettes des segments.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Corpus RAGTruth