Recherche parcimonieuse

Définition : La recherche parcimonieuse (sparse retrieval) trouve des documents ou des passages en mettant en correspondance des termes pondérés issus d’un vocabulaire commun. Elle représente les textes par des vecteurs dont la plupart des composantes sont nulles ; cette famille comprend les méthodes classiques par mots-clés et les méthodes apprises qui modifient la pondération des termes ou en ajoutent.

Points clés

• L’article BEIR, publié en 2021, évalue la recherche d’information sur 18 jeux de données et neuf tâches, dont les questions-réponses. Il constate que BM25, une fonction de classement fondée sur les termes, constitue une référence solide sur des tâches et des domaines nouveaux pour le système.
• L’article Dense Passage Retrieval décrit la recherche parcimonieuse classique comme une mise en correspondance de mots-clés pondérés à l’aide d’un index inversé, une structure qui associe des termes à des documents.
• Le manuel Introduction to Information Retrieval explique que le calcul du score BM25 tient compte de la fréquence des termes et de la longueur du document.

Comment fonctionne la recherche fondée sur les termes ?

Un terme indexé est une unité de texte utilisée pour établir des correspondances, généralement un mot. L’exemple de recherche d’information du manuel représente les documents par les termes qu’ils contiennent. Chaque document n’utilise qu’une petite partie du vocabulaire de la collection, ce qui laisse la plupart des composantes de son vecteur à zéro. C’est le sens de « parcimonieux ».

Un index inversé stocke les documents associés à chaque terme. Un identifiant désigne chaque document ; une liste d’occurrences (postings list) enregistre les identifiants associés à un terme. L’exercice de construction d’un index du manuel fournit quatre courts documents sur des ventes immobilières. L’extrait suivant est tiré de cet exercice :

home -> [1, 2, 3, 4]
new  -> [1, 4]

Le terme home apparaît dans chaque document ; new apparaît dans les documents 1 et 4. Ces listes permettent de localiser les documents correspondants sans parcourir chaque texte à chaque requête. La recherche avec classement attribue ensuite des scores aux documents candidats, comme l’explique le manuel.

Pourquoi la correspondance de mots-clés peut-elle manquer une réponse ?

Un décalage lexical se produit lorsqu’une question et un passage pertinent expriment la même idée avec des termes différents. L’analyse de la recherche lexicale dans BEIR relève cette limite et explique que les approches classiques en sac de mots (bag-of-words) ignorent aussi l’ordre des mots.

L’article Dense Passage Retrieval de 2020 illustre ce décalage par une question sur le méchant (« bad guy ») dans The Lord of the Rings et un passage décrivant Sauron comme un « villain » (méchant). La seule correspondance du titre commun laisse la relation entre « bad guy » et « villain » hors de portée d’une correspondance littérale des termes. L’article distingue la recherche de passages candidats de la lecture de ces passages pour y identifier une réponse.

Comment les méthodes parcimonieuses apprises modifient-elles les correspondances ?

La recherche parcimonieuse apprise utilise un modèle entraîné pour attribuer des poids aux termes ou ajouter des termes associés. Le protocole expérimental de BEIR décrit DeepCT comme une méthode qui apprend les fréquences des termes, et docT5query comme une méthode qui génère des requêtes possibles et les ajoute à un document avant la recherche lexicale.

L’expansion ajoute à la représentation indexée des termes susceptibles de produire des correspondances. La recherche parcimonieuse peut donc trouver des correspondances avec des termes absents du document d’origine. BEIR classe BM25 classique dans la recherche lexicale et place ces approches apprises dans une catégorie parcimonieuse distincte, bien que les deux utilisent des représentations parcimonieuses.

Comment évalue-t-on la recherche pour les questions-réponses ?

L’article Dense Passage Retrieval définit le taux de réussite de la recherche parmi les k premiers résultats (top-k retrieval accuracy) comme la proportion de questions pour lesquelles les passages sélectionnés contiennent une réponse. Ici, k est le nombre de passages retenus pour le module de lecture. Cette mesure indique si ce module reçoit des contenus renfermant une réponse.

BEIR compare quant à lui les résultats classés avec nDCG@10, une mesure qui tient compte de la pertinence et de la position parmi les dix premiers résultats. Son constat qu’aucune approche ne l’emporte sur tous les jeux de données justifie d’évaluer la recherche parcimonieuse sur des questions et des documents issus du domaine visé.

Termes associés

• Recherche dense
• Recherche hybride
• Reclassement des résultats de recherche
• Génération augmentée par la recherche (RAG)
• Benchmark BEIR

Questions fréquentes

La recherche parcimonieuse se confond-elle avec BM25 ?

BM25 est une méthode de recherche parcimonieuse. L’article BEIR évalue aussi des approches apprises telles que DeepCT et l’expansion de documents avec docT5query.

Que vérifier lorsqu’un passage pertinent est manqué ?

Comparez les termes de votre question à ceux du passage. L’article Dense Passage Retrieval montre comment les synonymes et les reformulations créent des décalages, avec l’exemple de « bad guy » et « villain ».

Sources

1. Thakur et al., « BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models », 21 octobre 2021
2. ACL Anthology, « Dense Passage Retrieval for Open-Domain Question Answering », novembre 2020
3. Cambridge University Press, « Okapi BM25: a non-binary model », 2008
4. Cambridge University Press, « An example information retrieval problem », 2008
5. Cambridge University Press, « A first take at building an inverted index », 2008

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO