En bref. BrowseComp évalue la recherche de réponses factuelles difficiles à trouver sur le Web, tandis que la qualité des citations nécessite des mesures distinctes de l’appui sur les sources.

Définition : BrowseComp est le banc d’essai (benchmark) d’OpenAI destiné à évaluer les agents de navigation, des systèmes d’IA qui recherchent et lisent des contenus sur le Web pour répondre à des questions. Il évalue la recherche de réponses factuelles difficiles à trouver en comparant des réponses courtes à des réponses de référence.

Points clés

L’article sur BrowseComp, soumis en avril 2025, décrit 1 266 questions recueillies par des annotateurs humains.
Au 17 octobre 2026, la consigne d’évaluation publique d’OpenAI demande une explication, une réponse exacte et un pourcentage de confiance.
L’article sur ALCE évalue la qualité des citations séparément de l’exactitude des réponses, à l’aide de mesures du degré d’appui sur les sources et de la pertinence des citations.

L’article sur BrowseComp décrit des questions construites à rebours à partir d’un fait connu. Les annotateurs choisissent un sujet de départ et combinent des critères d’identification de sorte que trouver la réponse nécessite une recherche parmi de nombreux candidats. Une fois un candidat trouvé, vérifier qu’il répond aux critères est plus facile.

La difficulté recherchée consiste à poursuivre les recherches et à changer de stratégie lorsqu’une piste échoue. La réponse de référence reste courte, même lorsque sa recherche nécessite une navigation approfondie.

Comment une réponse est-elle notée ?

Le fichier d’évaluation d’OpenAI fournit ce modèle de réponse :

Explanation: {your explanation for your final answer}
Exact Answer: {your succinct, final answer}
Confidence: {your confidence score between 0% and 100% for your answer}

Il s’agit de champs de sortie d’un protocole d’évaluation. L’explication accompagne la réponse, tandis que le champ de confiance consigne l’estimation que le modèle fait de l’exactitude de sa propre réponse. Cette estimation est distincte du verdict de l’évaluateur.

Le même fichier demande à un modèle évaluateur d’extraire la réponse finale et de la comparer à la référence fournie. La grille accepte les réponses concordantes, y compris les réponses numériques dans une faible marge d’erreur. Elle demande à l’évaluateur de se concentrer sur les différences significatives entre les réponses et d’éviter de résoudre à nouveau la question. Une explication ou une liste de liens ne fait donc l’objet d’aucun critère distinct de qualité des citations dans cette grille.

Que laisse de côté un score BrowseComp ?

L’article sur BrowseComp situe les réponses longues et les questions ambiguës des utilisateurs hors du périmètre retenu. Ses expériences combinent également 64 sorties par question selon différentes stratégies de sélection de la réponse. Pour comparer des scores, il faut connaître l’effort de navigation et la procédure de sélection des tentatives, en plus du nom du modèle.

L’appui sur les sources signifie que les éléments cités étayent l’affirmation à laquelle ils sont rattachés. L’article sur ALCE mesure cet appui à l’aide du rappel des citations (citation recall), qui vérifie si les affirmations d’une réponse sont étayées. Sa mesure de précision des citations (citation precision) repère les citations non pertinentes. ALCE calcule la moyenne du rappel sur les affirmations et celle de la précision sur les citations, faisant du lien entre affirmations et éléments probants un objectif explicite de l’évaluation.

Pour un site web, cette distinction compte : la grille de BrowseComp, fondée sur la concordance des réponses, ne mesure ni la fréquence de citation ni le classement d’une page donnée. Évaluer un rapport comportant des citations nécessite d’examiner le lien entre ses affirmations et les éléments qui les étayent, en plus de vérifier la réponse finale.

Termes associés

Questions fréquentes

Puis-je interpréter un score comme une mesure des performances sur les questions courantes des clients ?

L’article sur BrowseComp définit un ensemble de tâches délibérément difficiles à réponse courte. Tester les questions courantes des clients nécessite une évaluation qui tient compte de leur ambiguïté et du format de réponse attendu.

Le pourcentage de confiance valide-t-il les citations ?

La consigne publique demande un niveau de confiance dans la réponse finale. Sa grille de notation compare cette réponse à une référence ; les mesures de citation d’ALCE examinent quant à elles l’appui sur les sources et la pertinence.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Benchmark BrowseComp