En bref. FActScore mesure la proportion de faits atomiques étayés par une source de connaissances choisie, la couverture de l’information étant évaluée séparément.

Définition : FActScore évalue la précision factuelle en mesurant la proportion de faits atomiques d’un texte généré qu’une source de connaissances choisie étaye. Un fait atomique est un énoncé court qui exprime une seule information.

Points clés

L’article sur FActScore de Min et ses collègues attribue le même poids à chaque fait atomique et calcule la moyenne des scores des réponses aux consignes (prompts) auxquelles le modèle répond.
La notice de publication dans ACL Anthology situe l’article à EMNLP en décembre 2023 ; son évaluation humaine porte sur des biographies générées.
L’implémentation des auteurs accepte un corpus de référence personnalisé contenant des documents dotés des champs title et text.

Comment fonctionne l’évaluation par faits atomiques ?

La définition de l’article considère qu’une phrase peut contenir plusieurs énoncés vérifiables indépendamment. La décomposer en faits atomiques permet d’attribuer des étiquettes distinctes aux détails étayés et non étayés qu’elle contient.

Le calcul à l’échelle d’une réponse et l’agrégation à l’échelle du modèle peuvent s’exprimer par ce pseudocode, qui correspond aux équations de l’article :

response_score = supported_atomic_facts / total_atomic_facts
FActScore = mean(response_score over responses that answer the prompt)

Chaque fait a le même poids, quelle que soit son importance. Le corpus de référence fait partie de la définition de l’évaluation : la décision de considérer un fait comme étayé dépend des éléments présents dans ce corpus.

Dans la procédure d’annotation humaine, les annotateurs examinent et révisent les faits initialement produits par InstructGPT. Un autre groupe d’annotateurs repère les énoncés non pertinents et attribue aux faits pertinents les étiquettes Supported ou Not-supported en s’appuyant sur Wikipédia en anglais. Cette procédure sépare l’extraction des faits de la vérification des éléments qui les étayent.

Que mesure l’étude initiale ?

La section de l’étude consacrée aux données décrit un échantillon de 183 personnes issues de Wikidata et disposant d’une page Wikipédia correspondante. L’évaluation humaine porte sur des biographies générées par InstructGPT, ChatGPT et PerplexityAI. Les auteurs choisissent les biographies parce qu’elles contiennent des énoncés précis et vérifiables et permettent des comparaisons entre professions, nationalités et degrés de rareté.

L’article présente aussi un estimateur automatisé, un modèle qui fournit une approximation de l’évaluation humaine. Une variante recherche des passages dans la source de connaissances et demande à un modèle de langue de juger un fait atomique à partir de ces passages. L’article distingue l’erreur sur un score agrégé de l’exactitude des étiquettes attribuées à chaque fait : les erreurs portant sur des faits distincts peuvent se compenser dans le résultat agrégé.

Ces expériences évaluent la précision factuelle dans la tâche de rédaction de biographies testée. La section consacrée aux limites indique que les affirmations nuancées ou discutables et les documents de référence fréquemment contradictoires ne satisfont pas les hypothèses de la méthode.

Comment rendre compte du périmètre d’une évaluation ?

L’abstention consiste à refuser de répondre à une consigne. La section de l’article consacrée aux limites recommande de présenter FActScore avec le taux d’abstention et le nombre moyen de faits atomiques. Le rappel factuel désigne la couverture de l’information ; le calcul de précision du score peut favoriser les réponses qui contiennent moins de faits ou les modèles qui répondent à moins de consignes.

Au 17 octobre 2026, le README de l’implémentation indique que la version de Wikipédia utilisée par défaut est un instantané daté du 1er avril 2023. Il décrit aussi une pénalité de longueur contrôlée par --gamma, dont la valeur par défaut est 10 et qui pénalise les réponses contenant moins de 10 faits ; --gamma 0 la désactive. L’implémentation expose à la fois le score pénalisé score et le score sans pénalité init_score.

Pour les comparaisons, cela implique de consigner le corpus de référence et sa date, l’estimateur et le réglage de la pénalité avec le score. Ces choix déterminent les éléments disponibles pour la vérification et le traitement des réponses courtes.

Termes associés

Questions fréquentes

Un FActScore élevé signifie-t-il que votre réponse est complète ?

FActScore mesure dans quelle proportion les faits présents dans une réponse sont étayés. L’article distingue explicitement cette mesure du rappel factuel, qui concerne la couverture de l’information, et examine des réponses qui omettent des informations importantes tout en contenant des faits étayés.

Pouvez-vous utiliser une autre source que Wikipédia ?

Oui. Le README des auteurs décrit register_knowledge_source pour un corpus personnalisé. Vous fournissez des documents au format JSONL, à raison d’un document par ligne, avec les champs title et text, puis vous sélectionnez ce corpus lors du calcul du score.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO