En bref. La réponse aux questions multi-sauts combine des éléments de preuve issus de plusieurs documents pour répondre à une question, avec des faits justificatifs vérifiables à chaque étape.

Définition : La réponse aux questions multi-sauts (multi-hop question answering) consiste à répondre à une question en combinant des éléments de preuve issus de plusieurs documents. Une étape de raisonnement relie les informations de ces documents, par exemple en identifiant une personne dans un passage, puis en trouvant un fait à son sujet dans un autre.

Points clés

L’article HotpotQA, publié en 2018, présente un jeu de données de questions-réponses fondé sur Wikipédia, avec des annotations à l’échelle des phrases qui indiquent les éléments de preuve nécessaires aux réponses.
L’article IRCoT de 2023 décrit une méthode de recherche dans laquelle le raisonnement intermédiaire guide les recherches suivantes, et le texte obtenu alimente la suite du raisonnement.
L’article MuSiQue de 2022 construit des questions dont les étapes de raisonnement sont liées et ajoute des variantes sans réponse possible pour vérifier si les éléments de preuve nécessaires sont disponibles.

À quoi correspond un saut ?

Une entité passerelle (bridge entity) est la personne, le lieu ou toute autre entité qui relie des passages. L’article HotpotQA illustre ce concept par une question sur la date de naissance du chanteur et auteur-compositeur de Radiohead. Le lecteur identifie d’abord Thom Yorke, puis recherche sa date de naissance. Thom Yorke est l’entité passerelle. La décomposition suivante reprend cet exemple :

Question : quand le chanteur et auteur-compositeur de Radiohead est-il né ?
Entité intermédiaire : Thom Yorke
Fait suivant à rechercher : la date de naissance de Thom Yorke

L’article comprend aussi des questions de comparaison. Celles-ci demandent d’extraire les propriétés de différentes entités et de les comparer, par exemple pour déterminer si des groupes de musique viennent du même pays. Une question multi-sauts peut donc demander de suivre un lien ou de réunir des faits distincts pour les comparer.

Le simple fait de rassembler plusieurs documents impose une exigence différente de celle qui consiste à combiner leurs éléments de preuve. L’introduction de HotpotQA décrit des jeux de données antérieurs qui fournissent plusieurs documents alors que la réponse figure souvent dans des phrases voisines au sein d’un seul paragraphe.

Pourquoi la recherche d’information peut-elle nécessiter plusieurs étapes ?

La recherche d’information (retrieval) consiste à sélectionner, dans une collection, des textes potentiellement pertinents. L’article IRCoT explique une dépendance propre aux questions à plusieurs étapes : l’information à rechercher peut dépendre d’un résultat intermédiaire, qui dépend lui-même de contenus obtenus précédemment. La méthode proposée alterne la recherche d’information et la génération de phrases de raisonnement. Un résultat intermédiaire sert ainsi à déterminer quels éléments de preuve rechercher ensuite.

L’article HotpotQA distingue la lecture de la difficulté supplémentaire que représente la recherche des éléments de preuve grâce à ses configurations d’évaluation. Dans la configuration avec distracteurs (distractor), le système reçoit les deux paragraphes justificatifs mélangés à huit autres paragraphes. Dans la configuration sur l’ensemble de Wikipédia (full wiki), il doit trouver les éléments de preuve parmi les paragraphes d’introduction des articles de Wikipédia, sans que les paragraphes justificatifs soient désignés à l’avance.

Ces configurations permettent de distinguer un échec dans la recherche des contenus pertinents d’un échec dans la combinaison de contenus déjà fournis. Pour l’audit d’un site web, une application de cette distinction consiste à vérifier séparément si la recherche retrouve la page pertinente et si le passage qu’elle contient étaye la relation nécessaire.

Comment vérifier la chaîne de preuves ?

Les faits justificatifs (supporting facts) sont les phrases nécessaires pour justifier une réponse. L’article HotpotQA recueille ces phrases auprès d’annotateurs et évalue les phrases justificatives prédites par rapport à l’ensemble annoté. Il définit aussi des mesures d’évaluation conjointes qui combinent l’exactitude de la réponse et la performance sur les faits justificatifs.

L’article MuSiQue traite des raccourcis dans les questions des jeux d’évaluation. Sa méthode de construction relie des questions à un seul saut pour qu’une étape de raisonnement dépende d’informations provenant d’une autre étape. MuSiQue-Full ajoute des questions contrastives sans réponse possible. Cette approche donne un objectif concret à l’examen des preuves : identifier le fait nécessaire à chaque étape, puis vérifier si les passages fournis le contiennent et établissent le lien avec l’étape suivante.

Termes connexes

Questions fréquentes

Toute question pour laquelle plusieurs pages sont retrouvées est-elle une question multi-sauts ?

Une question multi-sauts demande de combiner des éléments de preuve provenant de plusieurs documents. L’article HotpotQA distingue ce cas des jeux de données où plusieurs documents sont fournis, mais où un seul paragraphe permet de répondre à la question.

Comment puis-je examiner une réponse qui combine plusieurs pages ?

Vous pouvez identifier la phrase qui étaye chaque fait nécessaire et vérifier le lien entre ces phrases. Cette démarche applique l’approche des preuves à l’échelle des phrases de l’article HotpotQA, qui évalue les faits justificatifs en même temps que les réponses.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Réponse aux questions multi-sauts