En bref. BEIR évalue la recherche sur différentes tâches et différents domaines, avec des résultats qui dépendent des jeux de données, des modèles et des jugements de pertinence utilisés.

Définition : BEIR (Benchmarking IR) est un banc d’évaluation de la recherche d’information (information retrieval), qui consiste à trouver des documents pertinents pour une requête. Il mesure la capacité des méthodes de recherche à se généraliser à différentes tâches et à différents domaines thématiques, sans entraînement sur la tâche ou le domaine cible.

Points clés

L’article sur BEIR, publié à NeurIPS en 2021, présente 18 jeux de données d’évaluation en anglais couvrant neuf tâches de recherche.
La prépublication Resources for Brewing BEIR décrit les scores agrégés comme des macro-moyennes : le score de chaque jeu de données reçoit le même poids.
Au 17 octobre 2026, le dépôt officiel fournit un cadre d’évaluation en Python et un exemple sur SciFact qui recherche des documents et évalue les résultats à partir de jugements de pertinence.

En quoi l’évaluation est-elle hétérogène ?

Une évaluation hétérogène fait varier le problème de recherche ainsi que le sujet traité. La prépublication Brewing BEIR décrit Natural Questions comme une tâche de recherche de passages de Wikipédia répondant à des questions, tandis qu’ArguAna porte sur la recherche d’arguments et SciFact sur la vérification des faits. La longueur des requêtes va de quelques mots-clés à un paragraphe.

Ces différences comptent dans le choix d’un jeu d’évaluation pour le moteur de recherche ou le système de recherche documentaire d’un site web. Une question portant sur une affirmation scientifique et une requête par mots-clés dans des articles d’actualité correspondent à des besoins de recherche différents. Le benchmark rend ces différences visibles grâce à des résultats distincts pour chaque jeu de données.

Comment une évaluation BEIR est-elle notée ?

L’article d’origine utilise nDCG@10, une métrique de classement qui prend en charge les étiquettes de pertinence binaires et les jugements de pertinence gradués, calculée sur les dix premiers résultats. Les étiquettes binaires distinguent les documents pertinents des documents non pertinents ; les étiquettes graduées expriment des niveaux de pertinence.

Les jugements de pertinence de référence, appelés qrels, fournissent les étiquettes d’évaluation. L’exemple SciFact du dépôt charge une collection de documents, des requêtes et des jugements pour la partition de test. Les lignes suivantes sont extraites de cet exemple ; retriever est l’objet configuré qui encapsule le modèle de recherche :

corpus, queries, qrels = GenericDataLoader(data_folder=data_path).load(split="test")
results = retriever.retrieve(corpus, queries)
ndcg, _map, recall, precision = retriever.evaluate(qrels, results, retriever.k_values)

Le même exemple enregistre le classement des documents retrouvés et les résultats d’évaluation dans des fichiers. La conservation de ces sorties permet d’examiner quels documents produisent un score et de réutiliser le classement pour un reclassement (reranking), qui réordonne les documents retrouvés.

Quelles sont les limites du transfert ?

L’article sur BEIR constate une faible corrélation entre les performances sur le domaine d’entraînement et celles obtenues dans d’autres domaines. Ses expériences retiennent BM25, une méthode de recherche fondée sur les mots-clés, comme une référence solide. Ces constats concernent les modèles évalués dans le cadre expérimental de l’article.

Les jugements de pertinence influencent aussi les comparaisons. Dans l’analyse de TREC-COVID présentée dans l’article, l’ajout de jugements manquants améliore les scores des méthodes qui retrouvent des documents pertinents en dehors de l’ensemble initialement annoté. Un score de benchmark dépend donc des annotations de référence autant que de la méthode de recherche.

La prépublication Brewing BEIR relève un autre problème de comparaison : les articles rapportent des résultats sur des sous-ensembles de jeux de données qui ne se recoupent que partiellement. Ses visualisations par jeu de données aident à repérer les gains et les pertes par rapport à une référence. En pratique, cela conduit à comparer les mêmes jeux de données et à examiner les résultats les plus proches de l’usage prévu avant de choisir une méthode de recherche pour un site web. Une évaluation distincte des réponses d’un moteur de réponse est nécessaire pour mesurer la sélection des sources et la qualité des citations.

Termes associés

Questions fréquentes

Une évaluation sans entraînement spécifique (zero-shot) signifie-t-elle que le modèle n’a jamais été entraîné ?

La prépublication Brewing BEIR définit ce cadre par l’absence de données d’entraînement ou de supervision pour les tâches et domaines cibles. Vous pouvez évaluer la capacité de transfert d’un modèle déjà entraîné dans ces conditions.

Puis-je utiliser BEIR avec mes propres documents ?

Le dépôt officiel permet de prétraiter un jeu de données de recherche personnalisé. Vous avez besoin d’une collection de documents, de requêtes et de jugements de pertinence pour évaluer si les documents retrouvés correspondent à ces jugements.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Benchmark BEIR