En bref. SimpleQA Verified teste les connaissances factuelles enregistrées avec 1 000 questions sélectionnées, des réponses de référence corrigées et des instructions de notation révisées.

Définition : SimpleQA Verified est un banc d’évaluation (benchmark) de 1 000 questions factuelles courtes qui teste les connaissances paramétriques : les faits qu’un modèle de langage restitue à partir de ses paramètres enregistrés. Il révise SimpleQA d’OpenAI par un filtrage des questions, une correction des réponses de référence et une révision de la notation automatique.

Points clés

L’article sur SimpleQA Verified, révisé le 10 mars 2026, décrit un banc d’évaluation issu du filtrage des 4 326 questions de SimpleQA.
En octobre 2026, la fiche du jeu de données de Google précise que l’évaluation se déroule sans outils de recherche ou de récupération d’informations.
Le commit public de correction, daté du 9 mars 2026, remplace la latitude par la longitude dans une question sur Lilongwe, en conservant sa réponse numérique.

Comment l’ensemble des questions est-il révisé ?

La méthode de sélection de l’article supprime les questions qui partagent une URL de référence, puis filtre celles dont le sens ou la formulation se recoupent. Elle supprime également les questions dont les sites de référence appliquent les contrôles décrits d’utilisation des contenus pour Google, OpenAI ou Anthropic. Ces contrôles utilisent robots.txt, un fichier contenant des instructions destinées aux systèmes automatisés.

Les auteurs rééquilibrent ensuite les types de réponses et les thèmes. Le recoupement des sources et les vérifications manuelles traitent les questions ambiguës et les erreurs d’annotation. Comme ce nettoyage rend le banc d’évaluation plus facile, la sélection finale supprime les questions auxquelles tous les modèles utilisés pour le filtrage par difficulté répondent correctement. L’ensemble obtenu mesure les performances sur des questions factuelles délibérément difficiles.

Comment les réponses de référence et la notation sont-elles corrigées ?

Une réponse de référence est la réponse attendue qui sert à noter celle du modèle. Dans le processus de recoupement des sources de l’article, les auteurs utilisent des modèles assistés par la recherche et les URL de référence d’origine pour examiner les éléments contradictoires. Ils suppriment les questions non numériques ambiguës et corrigent les réponses ou les URL lorsque c’est possible. Les questions numériques font l’objet d’un contrôle de cohérence distinct, avec une marge de 5 % par rapport à la réponse de référence d’origine. La vérification manuelle corrige également la précision des dates et les URL invalides ou sans rapport avec la question.

Pour la notation, un évaluateur automatique (autorater) est un modèle de langage qui reçoit des instructions pour juger les réponses. Les instructions révisées remplacent une règle générale sur les chiffres significatifs par des plages numériques acceptables propres à chaque question. Les petits dénombrements d’éléments distincts peuvent exiger une correspondance exacte. L’évaluateur automatique juge la partie qui répond directement à la question et ignore les informations supplémentaires. Une réponse qui énumère plusieurs possibilités doit en désigner une comme plus probable ; sinon, elle reçoit la note « sans tentative » (not attempted).

Le système de notation conserve les catégories « réponse correcte » (correct), « réponse incorrecte » (incorrect) et « sans tentative ». Son score F1 est la moyenne harmonique du taux de réponses correctes sur l’ensemble des questions et du taux de réponses correctes parmi les questions pour lesquelles une réponse est tentée. Il associe ainsi la restitution des faits à l’exactitude des réponses que le modèle choisit de tenter.

À quoi ressemble une correction publiée ?

La modification du jeu de données par Google remplace « latitude » par « longitude » dans la question sur Lilongwe. L’extrait suivant représente une sélection de champs de l’enregistrement corrigé du jeu de données :

{
  "original_index": 55,
  "problem": "What is the longitude of Lilongwe in decimal format?",
  "answer": "33.7738 (acceptable range: anything between 33.7586 and 33.8022)"
}

Cette correction porte sur la formulation de la question. La réponse numérique et la plage acceptable restent inchangées. Il importe donc de consigner la révision du jeu de données lors de la comparaison d’évaluations.

La fiche du jeu de données explique que original_index relie un enregistrement à la question SimpleQA d’origine. Les enregistrements comprennent aussi des URL de référence, un thème, un type de réponse et des indicateurs signalant les questions qui nécessitent un raisonnement ou plusieurs étapes. Ces champs permettent aux personnes chargées de la vérification de retrouver un élément et d’examiner les documents qui l’étayent.

Termes associés

Questions fréquentes

SimpleQA Verified mesure-t-il les performances de citation des sites web ?

L’article évalue la restitution de faits sans outils. Pour une équipe responsable d’un site web, son score décrit les performances selon ce protocole de restitution des connaissances ; l’évaluation de la sélection et de la citation des pages nécessite une analyse distincte utilisant l’interface de recherche concernée.

Pouvez-vous utiliser la recherche pendant l’évaluation ?

La fiche du jeu de données prévoit une évaluation sans outils. L’article rapporte des performances presque parfaites avec des outils, ce qui transforme la tâche et l’éloigne du test des connaissances enregistrées.

Pouvez-vous comparer directement ses scores à ceux de SimpleQA ?

L’article sur SimpleQA Verified modifie à la fois la sélection des questions et les instructions de notation. Une comparaison doit préciser la révision du jeu de données et la configuration de l’évaluateur automatique ; la comparaison publiée utilise le même évaluateur automatique révisé pour les deux ensembles de questions.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO