Abstention de réponse en recherche

Définition : L’abstention de réponse en recherche désigne la décision d’un moteur de réponse de ne pas fournir de réponse de fond lorsque les éléments disponibles ne suffisent pas à l’étayer. Le système peut expliquer quels éléments manquent ou demander les informations nécessaires pour répondre.

Points clés

• L’article sur Self-RAG introduit des jetons de réflexion, des sorties spéciales du modèle qui évaluent si une récupération de documents est nécessaire et si les passages récupérés étayent une réponse.
• L’article sur les questions sans réponse de SQuAD exige des systèmes qu’ils repèrent les cas où le paragraphe n’étaye aucune réponse et qu’ils s’abstiennent de répondre.
• L’étude UAEval4RAG évalue le rejet des demandes auxquelles il est impossible de répondre, ainsi que l’exactitude des réponses aux questions auxquelles il est possible de répondre.

Quel est l’apport de Self-RAG ?

La génération augmentée par récupération (retrieval-augmented generation, RAG) fournit à un modèle de langage des passages récupérés pour alimenter sa réponse. L’article sur Self-RAG d’Asai et de ses collègues, daté du 17 octobre 2023, présente l’entraînement du modèle à évaluer ces passages et sa propre sortie pendant la génération.

L’article distingue la pertinence d’un passage du degré d’étayage de la réponse. L’évaluation de la pertinence détermine si un passage apporte des informations utiles pour la demande. L’évaluation de l’étayage détermine dans quelle mesure la réponse générée découle de ce passage. Le tableau de l’article utilise les libellés d’étayage suivants :

fully supported
partially supported
no support

Ces évaluations aident à choisir parmi plusieurs segments de réponse candidats. Self-RAG poursuit aussi la génération lorsqu’il juge la récupération inutile. Renoncer à une recherche et s’abstenir de répondre constituent donc des décisions distinctes. Cette distinction compte lorsque Self-RAG sert de point de départ pour comprendre l’abstention : l’évaluation des éléments disponibles éclaire la décision de répondre.

Quand les éléments disponibles sont-ils insuffisants ?

L’article sur SQuAD décrit des questions qui ressemblent à des questions auxquelles il est possible de répondre, alors que le paragraphe ne contient pas la réponse. Un passage peut porter sur le même sujet qu’une question sans étayer le fait demandé. Pour un site web, vérifier la présence d’un texte contenant la réponse est donc utile pour examiner ce qu’une page apporte à une réponse issue d’une recherche.

L’article UAEval4RAG distingue les demandes hors base de données, dont la réponse est absente de la base de connaissances, des demandes insuffisamment précisées, qui omettent des informations essentielles. Son exemple, « Un animal de compagnie est-il autorisé ? », ne précise pas le lieu. L’étude considère qu’une demande de clarification constitue une réponse acceptable à une demande insuffisamment précisée. Pour une demande hors base de données, ses critères acceptent un refus explicite de répondre ou le signalement de l’insuffisance des données.

Ces exemples montrent pourquoi la réponse dépend des éléments manquants. Une clarification peut préciser un lieu manquant ; une réponse absente du corpus consulté impose de reconnaître cette limite.

Comment l’abstention est-elle évaluée ?

UAEval4RAG distingue les réponses directes, les demandes de clarification et les demandes rejetées lors de l’évaluation des réponses. Son taux de non-réponse (unanswered ratio) mesure la proportion de demandes rejetées. Son taux de réponses acceptables (acceptable ratio) vérifie les réponses selon des critères propres à chaque catégorie de demande.

L’étude évalue également les questions auxquelles il est possible de répondre et combine l’exactitude de leurs réponses avec l’acceptabilité des réponses aux demandes auxquelles il est impossible de répondre, au sein d’un score conjoint. Cette méthode rend visibles les rejets inutiles ainsi que les réponses sans fondement. Une évaluation suivant cette approche inclut des questions dont les réponses sont documentées et des questions dont les réponses sont absentes du corpus.

Termes associés

• Génération augmentée par la recherche (RAG)
• Ancrage (grounding)
• Hallucination
• Attribution des réponses aux sources

Questions fréquentes

Self-RAG cesse-t-il de répondre chaque fois qu’il renonce à la récupération ?

La procédure d’inférence de Self-RAG poursuit la génération du segment de réponse suivant lorsque la récupération est inutile. Sa décision de récupération détermine s’il faut aller chercher des passages.

Un assistant peut-il plutôt vous demander des précisions ?

Oui. Les critères d’UAEval4RAG acceptent une clarification pour une demande insuffisamment précisée, comme sa question sur l’autorisation des animaux de compagnie qui n’indique aucun lieu. Vous pouvez fournir les informations manquantes avant que le système tente de donner une réponse précise.

Sources

1. arXiv, « Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection », 17 octobre 2023
2. Association for Computational Linguistics, « Know What You Don't Know: Unanswerable Questions for SQuAD », juillet 2018
3. Association for Computational Linguistics, « Unanswerability Evaluation for Retrieval Augmented Generation », juillet 2025

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO