En bref. FreshQA évalue les réponses aux questions factuelles avec des réponses de référence évolutives et des vérifications distinctes de l’exactitude de la réponse principale et des détails factuels.
Définition : FreshQA est un banc d’essai (benchmark) de réponse à des questions factuelles, présenté dans l’article FreshLLMs. Il évalue la capacité des modèles de langage à répondre à des questions qui exigent des connaissances à jour sur le monde et à repérer celles dont les prémisses sont factuellement incorrectes.
Points clés
- L’article publié décrit 600 questions, réparties entre un jeu de test de 500 questions et un jeu de développement de 100 questions.
- Le résumé de l’article présente une évaluation humaine selon deux modes, portant sur l’exactitude et les hallucinations.
- Au 17 octobre 2026, le dépôt des auteurs propose un lien vers un jeu de données intitulé FreshQA April 21, 2026, ainsi que vers des versions antérieures.
Comment FreshQA représente-t-il les faits qui évoluent ?
La typologie des questions de l’article distingue les réponses immuables, celles qui évoluent lentement, généralement sur plusieurs années, et celles qui évoluent rapidement, généralement en un an ou moins. Elle comprend aussi des questions à prémisse fausse, dont les présupposés factuels doivent être réfutés.
Le fichier CSV du jeu de données consigne false_premise séparément de fact_type. Cet extrait limité à certaines colonnes montre qu’une question à prémisse fausse possède aussi une classification temporelle :
question,false_premise,num_hops,fact_type
What year did the first human land on Mars?,TRUE,one-hop,slow-changing
Les autres champs comprennent effective_year, next_review et les URL des sources justificatives. Les colonnes de réponse permettent d’indiquer plusieurs réponses acceptées. Ces champs rendent consultables la réponse de référence et son calendrier de révision aux côtés de la question.
Comment les réponses sont-elles évaluées ?
La procédure d’évaluation de l’article définit le mode Relaxed comme une évaluation de la réponse principale et le mode Strict comme une vérification supplémentaire de l’exactitude de chaque fait. Les deux modes exigent une réponse principale correcte, clairement énoncée ou déductible ; les informations supplémentaires ne doivent pas la contredire. Pour une question à prémisse fausse, la réponse est jugée correcte uniquement si elle relève la prémisse erronée.
Une réponse principale correcte accompagnée d’un détail justificatif inexact peut donc réussir l’évaluation Relaxed et échouer à l’évaluation Strict. Pour interpréter un taux d’exactitude publié, il faut par conséquent connaître le mode d’évaluation utilisé.
Comment reproduire une évaluation ?
Les instructions FreshEval des auteurs décrivent un évaluateur automatique qui utilise des exemples de jugements pour apprendre à un modèle de langage à évaluer les réponses. La procédure consiste à copier la feuille de calcul du jeu de données, à ajouter des colonnes pour les réponses du modèle, les évaluations et les explications, puis à exécuter le notebook correspondant au mode choisi. Les évaluations vrai ou faux servent ensuite à calculer le taux d’exactitude par catégorie de questions.
Les mêmes instructions distinguent FreshEval des mesures de recoupement entre réponses, comme la correspondance exacte (exact match) ou le rappel. Une comparaison doit préciser la version datée du jeu de données, le mode d’évaluation et l’évaluateur ou la métrique. Conserver les colonnes de réponse et d’explication permet aussi de garder une trace pour examiner les jugements individuels.
Termes associés
- Date limite des connaissances
- Génération augmentée par la recherche (RAG)
- Benchmark SimpleQA
- Benchmark ALCE
Questions fréquentes
Puis-je évaluer les réponses automatiquement ?
Oui. Les auteurs fournissent des notebooks FreshEval pour les évaluations Relaxed et Strict, ainsi que des exemples de feuilles de calcul d’évaluation et de résultats. Consignez le mode et le modèle évaluateur que vous utilisez.
Pourquoi consigner la version du jeu de données ?
Le dépôt répertorie des jeux de données datés et invite à corriger les questions et les réponses. Consigner la version permet d’identifier les réponses de référence utilisées dans votre évaluation.
Un nom correct suffit-il toujours pour qu’une réponse soit jugée correcte ?
Les règles de notation de l’article tiennent aussi compte des informations contradictoires et des prémisses fausses. En mode Strict, des faits supplémentaires inexacts peuvent rendre une réponse incorrecte.
Sources
- Association for Computational Linguistics, « FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation », août 2024
- Association for Computational Linguistics, « FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation », article intégral, août 2024
- Auteurs de FreshLLMs, README du dépôt « FreshLLMs », consulté le 17 octobre 2026
- Auteurs de FreshLLMs, « FreshQA April 21, 2026 », jeu de données au format CSV
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO