En bref. Décomposez la réponse en affirmations factuelles atomiques, confrontez chacune à un ensemble de preuves défini et présentez les affirmations non étayées séparément des citations manquantes.

Définition : Mesurer les affirmations non étayées consiste à décomposer une réponse d’IA en affirmations factuelles individuelles, puis à confronter chacune à un ensemble de preuves défini. Le résultat est la part des affirmations évaluées que ces preuves n’étayent pas ; la vérification des citations évalue séparément l’appui fourni par les sources jointes à la réponse.

Points clés

L’article sur FActScore définit un fait atomique comme un énoncé court qui transmet une seule information et mesure le pourcentage de ces faits qu’une source de connaissances fiable étaye.
L’article sur ALCE définit le rappel des citations (citation recall) par le fait que les passages cités étayent intégralement les énoncés et la précision des citations (citation precision) par la pertinence de chaque citation.
Au 17 octobre 2026, l’implémentation officielle de FActScore fournit un score sans pénalité, un taux de réponse et un nombre moyen de faits atomiques par réponse.

Comment décomposer une réponse en affirmations ?

La méthode FActScore utilise des faits atomiques, car une phrase peut combiner des informations étayées et non étayées. Son processus d’annotation permet à des évaluateurs humains de réviser la décomposition proposée par un modèle avant qu’un autre groupe d’évaluateurs vérifie les preuves à l’appui.

Un audit pratique adapte ce processus : conserver la réponse originale, dresser la liste de ses affirmations factuelles et scinder les énoncés qui combinent des détails vérifiables indépendamment. Les précisions telles que les dates, les quantités et les conditions sont conservées dans les affirmations obtenues. Les éléments exclus et la règle d’exclusion sont consignés pour que les salutations ou les conseils subjectifs ne modifient pas implicitement le dénominateur.

L’unité d’évaluation compte. ALCE découpe généralement les réponses en phrases et utilise les entités des listes pour son jeu de données de réponses sous forme de liste. Un audit par affirmations atomiques doit préciser explicitement son unité lorsqu’il est comparé aux résultats d’ALCE.

Quelles sources peuvent étayer une affirmation ?

FActScore confronte les affirmations à une source de connaissances choisie. Pour un audit de site web, l’ensemble de preuves est défini avant l’attribution des étiquettes : les pages liées dans la réponse pour un audit des citations, ou un corpus de référence sélectionné séparément pour une vérification factuelle. Le passage pertinent et la décision sont consignés pour chaque affirmation. L’évaluation des preuves à l’appui reste relative à ce corpus défini.

L’évaluation ALCE vérifie si les passages cités, considérés ensemble, étayent intégralement l’énoncé associé. Elle calcule la moyenne de ces décisions prises pour chaque énoncé afin d’obtenir le rappel des citations. Un lien à côté d’une phrase nécessite donc une vérification des passages, y compris des précisions contenues dans la phrase.

L’absence de citation et l’absence de preuves à l’appui restent deux constats distincts. Une affirmation sans citation peut être étayée dans le corpus de référence indépendant ; une affirmation accompagnée d’une citation peut ne pas être étayée par les sources liées. La précision des citations d’ALCE ajoute une vérification des références non pertinentes, ce qui permet au rapport de distinguer la couverture de la pertinence des citations.

Que doit contenir le rapport ?

Pour un audit manuel qui attribue une décision binaire, étayée ou non étayée, à chaque affirmation atomique évaluée, la proportion de FActScore donne les calculs suivants :

supported_fraction = supported_atomic_claims / assessed_atomic_claims
unsupported_fraction = unsupported_atomic_claims / assessed_atomic_claims

Le rapport présente les deux nombres d’affirmations à côté des proportions et conserve le tableau de correspondance entre affirmations et passages. Le rappel des citations est indiqué séparément, en précisant si son dénominateur est constitué de phrases ou d’affirmations atomiques.

Les champs de sortie de l’implémentation de FActScore apportent un contexte supplémentaire lors de l’utilisation du paquet logiciel. Après le calcul du score, la sortie documentée s’inspecte ainsi :

print(out["init_score"])
print(out["respond_ratio"])
print(out["num_facts_per_response"])

Ici, init_score exclut la pénalité de longueur. Les nombres de réponses et de faits qui l’accompagnent aident à interpréter les comparaisons impliquant des abstentions ou des réponses plus courtes.

Termes associés

FAQ

Puis-je compter les liens manquants comme des affirmations non étayées ?

Vous pouvez présenter les liens manquants dans un décompte séparé. Selon la définition du rappel des citations d’ALCE, un énoncé doit s’appuyer sur des preuves citées qui l’étayent intégralement ; FActScore vérifie les preuves à l’appui dans la source de connaissances sélectionnée.

Puis-je automatiser la décomposition en affirmations ?

Oui. L’évaluation humaine de FActScore part de faits atomiques produits par un modèle, que les évaluateurs peuvent réviser. Vous pouvez utiliser cette approche en conservant une étape de révision de la délimitation des affirmations.

Dois-je comparer directement le score du paquet logiciel à ma proportion calculée manuellement ?

Vérifiez d’abord le champ du score. L’implémentation officielle distingue score de init_score, qui exclut sa pénalité de longueur ; utilisez ce dernier pour une comparaison avec une proportion d’affirmations étayées sans pénalité, selon des règles d’évaluation identiques.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment mesurer les affirmations non étayées dans une réponse d’IA ?