En bref. FRAMES mesure l’exactitude factuelle des réponses à 824 questions nécessitant une recherche d’information et un raisonnement sur plusieurs articles de Wikipédia.

Définition : FRAMES (Factuality, Retrieval, And reasoning MEasurement Set) est un banc d’évaluation (benchmark) de 824 questions destiné à évaluer les systèmes qui recherchent des informations et les utilisent pour produire des réponses. Il mesure l’exactitude factuelle des réponses à des questions qui nécessitent des informations issues de plusieurs articles de Wikipédia et un raisonnement reliant ces sources.

Points clés

L’article présentant FRAMES, Fact, Fetch, and Reason propose une évaluation unifiée de la recherche d’information et du raisonnement dans des systèmes complets de questions-réponses.
La fiche du jeu de données de Google décrit des questions nécessitant des informations issues de 2 à 15 articles de Wikipédia, accompagnées des réponses de référence et des articles pertinents.
L’article publié indique que des annotateurs humains rédigent les questions et leur attribuent des étiquettes par type de raisonnement ; une question peut recevoir plusieurs étiquettes.

Que nécessitent les questions ?

La génération augmentée par récupération (retrieval-augmented generation, RAG) consiste à produire une réponse à partir d’informations récupérées dans des documents externes. Les questions multi-sauts (multi-hop) nécessitent de combiner des informations provenant de plusieurs sources pour parvenir à une réponse. Dans FRAMES, la tâche comprend la recherche des articles pertinents et l’utilisation correcte de leur contenu.

Les étiquettes du jeu de données couvrent le raisonnement numérique, le raisonnement sur des tableaux, les contraintes multiples, le raisonnement temporel et le post-traitement. Le raisonnement numérique comprend les calculs et les comparaisons. Le raisonnement sur des tableaux utilise les informations des tableaux ou des infobox de Wikipédia. Le post-traitement applique une transformation demandée après la collecte des faits, par exemple la conversion d’une année obtenue en chiffres romains.

Les annotateurs vérifient à nouveau que les réponses sont correctes et étayées par les pages Wikipédia associées. Ils ajoutent également un contexte temporel aux questions dont la réponse peut changer. Ces vérifications font de la réponse de référence et des articles qui l’étayent des composantes explicites de l’évaluation.

Comment fonctionne la recherche en plusieurs étapes ?

La chaîne de recherche décrite dans l’article utilise BM25, une méthode qui attribue un score aux documents en fonction d’une requête, sur un index d’articles de Wikipédia. Le modèle génère des requêtes de recherche à partir de son contexte courant. Les articles récupérés sont ajoutés à ce contexte, sans doublons, et le processus se répète avant la réponse finale.

Les auteurs comparent cette chaîne à une consigne contenant directement la question, à une recherche en une seule étape et à une consigne oracle (oracle prompt). Ici, une consigne oracle fournit tous les articles de référence utilisés par les annotateurs. Pour Gemini-Pro-1.5-0514, l’article rapporte un taux de réponses correctes de 0.408 sans recherche, de 0.474 avec quatre documents récupérés par BM25 et de 0.729 avec la consigne oracle.

Avec des instructions de planification de la recherche, le système en plusieurs étapes atteint un taux de réponses correctes de 0.66 avec cinq itérations, cinq requêtes par itération et dix documents par requête. Les instructions comprennent des exemples de séquences de recherche et des consignes pour éviter de répéter les requêtes. Ces résultats proviennent des expériences de l’article, publié en 2025.

Comment l’exactitude factuelle est-elle évaluée ?

Une réponse de référence, également appelée « gold answer », est la réponse attendue fournie avec une question. La procédure d’évaluation de l’article utilise un modèle de langage comme juge automatique, car les réponses sont rédigées en texte libre. Le juge vérifie que la réponse contient le sens et les faits essentiels de la réponse de référence, en acceptant les formulations équivalentes.

La figure 6 comprend le format de sortie suivant :

"Explanation:" (How you made the decision?)
"Decision:" ("TRUE" or "FALSE" )

Les auteurs valident le juge automatique par comparaison avec des jugements humains et rapportent un taux d’accord de 0.96. Le taux de réponses correctes se distingue du rappel de la recherche d’information, qui mesure la part des articles requis présents dans le contexte. L’article rapporte ces deux mesures pour analyser l’effet des éléments de preuve récupérés. L’expérience avec la consigne oracle montre également que des erreurs subsistent lorsque tous les articles de référence sont fournis, notamment dans les calculs et l’exploitation des tableaux.

Termes associés

Questions fréquentes

Un score FRAMES mesure-t-il les citations de mon site web ?

FRAMES évalue les réponses à des questions fondées sur Wikipédia, à l’aide des réponses de référence et des listes d’articles du jeu de données. Mesurer la fréquence à laquelle votre site web apparaît dans une réponse nécessite une évaluation distincte.

Comment interpréter un résultat FRAMES publié ?

Comparez le modèle, la méthode de recherche d’information, le contexte fourni et le juge utilisé. L’article rapporte des taux de réponses correctes différents selon que le système utilise une consigne directe, une recherche BM25, un contexte oracle ou une recherche en plusieurs étapes, et signale comme limite une possible contamination par les données d’entraînement.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Banc d’évaluation FRAMES