En bref. DeepResearch Bench combine l’évaluation des rapports par RACE et celle des citations par FACT, dont les scores dépendent des règles d’étayage et du mode d’agrégation.

Définition : DeepResearch Bench est un banc d’évaluation (benchmark) destiné aux agents de recherche, des assistants IA qui effectuent des recherches sur le Web, recueillent des éléments probants et rédigent des rapports de synthèse. Il évalue la qualité des rapports et la mesure dans laquelle les sources citées étayent leurs affirmations.

Points clés

L’article de recherche sur DeepResearch Bench, publié le 13 juin 2025, présente 100 tâches conçues par des experts dans 22 domaines, réparties à parts égales entre le chinois et l’anglais.
Au 17 octobre 2026, la documentation du dépôt des auteurs décrit deux cadres complémentaires : RACE pour la qualité des rapports et FACT pour la recherche d’information et l’ancrage dans les sources (grounding).
La consigne de notation des rapports (prompt) publiée compare les rapports selon leur exhaustivité, la profondeur de l’analyse, le respect des instructions et la lisibilité, en attribuant des notes et des explications distinctes pour chaque critère.

Comment RACE évalue-t-il un rapport ?

RACE signifie Reference-based Adaptive Criteria-driven Evaluation. La documentation du dépôt décrit des critères et des pondérations propres à chaque tâche : l’importance accordée à chaque dimension varie selon la demande de recherche. Un rapport à évaluer est comparé à un rapport de référence selon ces critères.

La consigne de notation demande à un juge IA d’analyser comment chaque article satisfait à chaque critère, de comparer leurs performances et d’attribuer à chacun une note de 0 à 10. La sortie requise conserve le critère, l’analyse comparative et les notes distinctes des articles. L’évaluation peut ainsi être examinée critère par critère, en complément du résultat agrégé.

Comment FACT évalue-t-il les citations ?

FACT signifie Factual Abundance and Citation Trustworthiness. Dans la méthode décrite par l’article, un juge IA extrait les affirmations accompagnées des URL qu’elles citent et élimine les répétitions d’un même fait associé à la même URL. L’API Jina Reader récupère le texte des pages pour déterminer s’il étaye les affirmations.

L’annexe E définit l’exactitude des citations comme la moyenne des proportions de paires étayées pour chaque tâche ; une tâche sans affirmation pouvant faire l’objet d’une citation contribue pour zéro. Le nombre moyen de citations effectives par tâche correspond au nombre de paires affirmation-URL étayées dans l’ensemble du banc d’évaluation, divisé par le nombre de tâches. Plusieurs affirmations distinctes et étayées peuvent donc partager la même URL source.

La consigne publique de validation considère comme étayés les faits présents en totalité ou en partie dans une référence, y compris les données arrondies. Elle attribue aux affirmations le statut « unknown » lorsque la référence ne contient aucune information valide. Le script de statistiques associé exclut les jugements « unknown » et les erreurs de validation, puis calcule l’exactitude sur l’ensemble des paires regroupées. Ce calcul diffère de la moyenne par tâche définie dans l’article, ce qui rend la version de l’implémentation déterminante pour comparer les scores.

Que contient une soumission à l’évaluation ?

Le format d’entrée du dépôt enregistre chaque rapport produit avec l’identifiant de sa tâche et la demande d’origine. L’exemple comporte les champs suivants :

{
    "id": "task_id",
    "prompt": "original_query_text",
    "article": "generated_research_article_with_citations"
}

L’exemple utilise des valeurs de remplacement. Chaque ligne du fichier JSONL soumis, un fichier contenant un enregistrement JSON par ligne, contient un rapport réel. La procédure documentée lit les demandes du banc d’évaluation dans data/prompt_data/query.jsonl et enregistre les sorties dans data/test_data/raw_data/. RACE et FACT produisent des fichiers de résultats distincts. Pour une agence qui examine des rapports de recherche, cette séparation fournit des évaluations distinctes de la qualité des rapports et de leur étayage par les sources.

Termes associés

Questions fréquentes

Une citation étayée signifie-t-elle que l’affirmation entière est vérifiée ?

La consigne publique de validation accepte un étayage partiel. Lorsque vous examinez un résultat, vous devez donc vérifier quels faits la page citée étaye.

L’exactitude des citations indique-t-elle la quantité d’éléments probants dans un rapport ?

L’article présente le nombre moyen de citations effectives aux côtés de l’exactitude pour mesurer la quantité d’informations étayées. La lecture conjointe des deux métriques préserve la distinction entre la proportion étayée et le nombre d’affirmations étayées.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO