En bref. SimpleQA évalue les réponses factuelles courtes et distingue les réponses correctes, les erreurs et l’abstention dans le calcul des performances.

Définition : SimpleQA est un banc d’évaluation (benchmark) des réponses factuelles courtes produites par les modèles de langage. Il distingue les réponses correctes, les réponses incorrectes et les questions sans tentative de réponse, ce qui permet de mesurer conjointement l’exactitude factuelle et l’abstention.

Points clés

L’article Measuring short-form factuality in large language models présente un jeu de données de 4 326 questions conçues pour avoir une réponse unique et vérifiable.
Le jeu de données téléchargeable d’OpenAI contient les colonnes metadata, problem et answer.
Au 17 octobre 2026, l’évaluateur de référence d’OpenAI utilise un modèle de notation distinct pour comparer une réponse à la réponse de référence et lui attribuer une catégorie.

Comment les questions sont-elles élaborées ?

L’article sur SimpleQA décrit comment des annotateurs humains rédigent des questions dont les réponses s’appuient sur des éléments probants. Un autre annotateur répond indépendamment à chaque question ; l’accord entre les annotateurs conditionne son inclusion. Les questions doivent préciser exactement la réponse attendue, par exemple une ville ou une entreprise.

Les critères de collecte exigent des réponses stables dans le temps et des questions auxquelles il est possible de répondre au plus tard le 31 décembre 2023. La collecte consiste aussi à soumettre les questions candidates à des modèles et exige une réponse incorrecte avant de retenir une question. Cette sélection délibérée de questions difficiles compte dans l’interprétation de l’exactitude.

Qu’est-ce qui constitue une abstention ?

L’abstention consiste à ne pas fournir la réponse demandée. L’instruction de notation de référence utilise les libellés suivants :

A: CORRECT
B: INCORRECT
C: NOT_ATTEMPTED

Une réponse correcte fournit les informations de référence requises sans contradiction. Une réponse incorrecte contredit la référence, y compris lorsque la contradiction est formulée avec réserve. Une réponse relève de la catégorie « absence de tentative » lorsqu’elle omet des informations requises sans contredire la référence.

La même instruction accepte les différences de majuscules, de ponctuation et d’ordre. Ses exemples permettent également de classer dans la catégorie « absence de tentative » une réponse partielle qui reconnaît explicitement que les informations restantes sont inconnues.

Comment les scores prennent-ils en compte les questions sans réponse ?

L’implémentation de référence présente séparément les proportions de réponses correctes, de réponses incorrectes et de questions sans tentative de réponse. Elle calcule aussi l’exactitude parmi les questions ayant fait l’objet d’une tentative de réponse et un score F (F-score), moyenne harmonique de l’exactitude globale et de l’exactitude parmi les tentatives.

Avec c réponses correctes, i réponses incorrectes et n questions sans tentative de réponse, les indicateurs sont les suivants :

Exactitude globale = c / (c + i + n)
Exactitude parmi les tentatives = c / (c + i)
Score F = 2c / (2c + 2i + n)

L’annexe B de l’article explique que tenter une réponse avec une probabilité d’exactitude supérieure à 50 % améliore l’espérance du score F par rapport à l’abstention. La lecture séparée des taux d’erreur et d’abstention préserve donc l’information sur le comportement de réponse du modèle.

Termes associés

Questions fréquentes

Dire « je pense » constitue-t-il une abstention ?

L’instruction de notation autorise les formulations prudentes dans une réponse correcte. Une contradiction formulée avec réserve est classée comme incorrecte ; les seules marques d’incertitude ne déterminent donc pas l’abstention.

Que se passe-t-il si aucune question ne fait l’objet d’une tentative de réponse ?

L’implémentation de référence fixe à zéro l’exactitude parmi les tentatives lorsqu’il n’y a aucune tentative. Le calcul du score F renvoie également zéro lorsque les deux indicateurs qui le composent sont nuls.

SimpleQA mesure-t-il l’exactitude factuelle des articles longs ?

La discussion de l’article présente le lien entre l’exactitude factuelle des réponses courtes et celle des réponses longues comme une question de recherche ouverte.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Benchmark SimpleQA