En bref. Le taux de réussite de BrowseComp mesure la recherche de réponses de référence, tandis qu’ALCE évalue séparément l’appui et la pertinence des citations.

Définition : La qualité des citations mesure dans quelle proportion les affirmations d’une réponse sont étayées par les éléments de preuve cités, ainsi que la pertinence des citations. BrowseComp mesure l’exactitude des réponses trouvées ; ALCE évalue l’appui fourni par les citations séparément de l’exactitude des réponses.

Points clés

L’article sur BrowseComp, publié en avril 2025, décrit 1 266 questions accompagnées de réponses de référence courtes et évalue la concordance sémantique avec ces réponses.
L’article sur ALCE, publié en décembre 2023, distingue l’exactitude des réponses du rappel des citations (citation recall) et de leur précision (citation precision), qui mesurent la couverture des affirmations par les preuves et la pertinence des citations.
Les instructions d’évaluation d’ALCE proposent une option dédiée --citations aux côtés d’autres options d’évaluation.

Que permet d’établir un résultat BrowseComp ?

BrowseComp mesure la réussite de la recherche d’informations difficiles à trouver sur le Web. Dans la procédure de notation de l’article, un modèle d’IA compare la réponse produite à la réponse de référence pour vérifier leur équivalence sémantique. La notation porte sur la concordance entre la réponse finale et la référence.

Le même article présente la production de réponses longues et la résolution de requêtes ambiguës comme des difficultés situées hors de son périmètre. Son taux de réussite répond donc à une question précise : à quelle fréquence le système évalué trouve-t-il la réponse attendue sur cet ensemble de questions ? Ce score seul ne mesure pas si les citations d’une réponse plus longue étayent chacune de ses affirmations.

Comment ALCE vérifie-t-il l’appui fourni par les citations ?

ALCE, abréviation d’Automatic LLMs’ Citation Evaluation, exige qu’un système recherche des passages et produise une réponse avec des citations. Le cadre d’évaluation de l’article distingue les vérifications suivantes :

Indicateur	Ce que vérifie l’évaluation
Exactitude de la réponse	Si la réponse couvre le contenu attendu, à l’aide d’un indicateur adapté au jeu de données.
Rappel des citations	Si chaque affirmation comporte des citations dont les passages, pris ensemble, l’étayent entièrement, avec une moyenne calculée sur les affirmations.
Précision des citations	Si chaque citation est pertinente, avec une moyenne calculée sur les citations.

ALCE utilise l’inférence en langage naturel (natural language inference), un test qui détermine si des éléments de preuve impliquent logiquement une affirmation, pour automatiser la vérification de cet appui. Le calcul du rappel exige à la fois une citation et un appui complet dans les passages cités. Le calcul de la précision considère une citation comme non pertinente lorsqu’elle ne suffit pas à étayer l’affirmation à elle seule et que son retrait laisse les autres citations suffisantes. La précision exige également que l’affirmation satisfasse au test de rappel.

Ces distinctions expliquent pourquoi trouver une réponse exacte et fournir des citations qui l’étayent nécessitent des évaluations séparées. Une correspondance thématique entre une page et une affirmation est moins exigeante que l’appui complet requis par le test de rappel d’ALCE.

Comment une agence peut-elle examiner l’évaluation à l’origine d’un score ?

ALCE fournit un exemple concret. En octobre 2026, les instructions de son dépôt indiquent cette commande pour évaluer ASQA, l’un de ses jeux de données de questions-réponses :

python eval.py --f {path/to/result/file} --citations --qa --mauve

Les accolades délimitent l’emplacement à remplacer par le chemin du fichier de résultats. Les mêmes instructions prévoient de stocker les sorties des modèles avec les réponses de référence et les configurations d’exécution dans des fichiers JSON sous result/ ; l’évaluation produit un fichier portant le suffixe .score.

Pour un rapport sur les citations d’un site web, la déduction pratique consiste à demander le texte de la réponse et les éléments de preuve cités en complément du score. La cible de notation de BrowseComp et les tests d’ALCE fournissent des vérifications distinctes : si la réponse correspond au fait attendu et si les preuves qui l’accompagnent étayent ses affirmations. Présenter ces résultats séparément permet d’interpréter la mesure rapportée.

Termes associés

Questions fréquentes

Puis-je utiliser le taux de réussite de BrowseComp comme pourcentage de qualité des citations ?

Non. L’évaluateur de BrowseComp compare les réponses aux réponses de référence. Un pourcentage mesurant l’appui fourni par les citations nécessite une évaluation séparée des affirmations de la réponse au regard des preuves citées, comme le rappel des citations d’ALCE.

Ajouter des citations améliore-t-il la précision d’ALCE ?

Le test de précision d’ALCE vérifie la pertinence. Une citation qui n’étaye pas l’affirmation à elle seule et n’apporte pas non plus de preuve nécessaire en combinaison avec les autres citations est considérée comme non pertinente, à condition que l’affirmation soit par ailleurs entièrement étayée par ses citations.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Un score de benchmark de navigation mesure-t-il la qualité des citations ?