En bref. Self-RAG apprend à décider quand rechercher et à s’autocritiquer grâce à des jetons de réflexion qui guident l’évaluation des passages et la sélection des réponses.

Définition : Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection est un article d’Akari Asai et de ses collègues qui présente la génération augmentée par recherche avec autoréflexion (Self-Reflective Retrieval-Augmented Generation, Self-RAG). Ce cadre entraîne un modèle de langage à décider quand rechercher des passages externes et à évaluer ces passages ainsi que ses propres réponses à l’aide de jetons spéciaux de réflexion (reflection tokens).

Points clés

La notice arXiv date la prépublication du 17 octobre 2023 et indique comme auteurs Akari Asai, Zeqiu Wu, Yizhong Wang, Avirup Sil et Hannaneh Hajishirzi.
Au 17 octobre 2026, le dépôt d’implémentation des auteurs décrit une recherche à la demande : le modèle peut effectuer plusieurs recherches pendant la génération ou s’en passer entièrement.
Le tableau des jetons de réflexion de l’article distingue la décision de lancer une recherche des évaluations de la pertinence des passages, de l’étayage par les sources et de l’utilité des réponses.

Comment le modèle décide-t-il quand lancer une recherche ?

La génération augmentée par recherche (retrieval-augmented generation, RAG) associe des passages de texte issus d’une recherche à la génération par un modèle de langage. Dans la procédure d’inférence de Self-RAG, le modèle prédit un jeton de recherche à partir de l’entrée et de la réponse générée jusque-là. Les expériences considèrent chaque phrase comme un segment de sortie.

Lorsqu’une recherche est nécessaire, un module de recherche externe trouve des passages à partir de la question et du texte généré précédemment. Le modèle traite les passages candidats en parallèle, évalue leur pertinence et génère une suite conditionnée par chaque passage. Il évalue ensuite ces suites et en sélectionne une. Lorsqu’aucune recherche n’est nécessaire, il génère directement le segment suivant et évalue son utilité.

L’article permet aussi de définir un seuil de recherche : la recherche démarre lorsque la probabilité normalisée du jeton de recherche affirmatif dépasse le seuil choisi. La fréquence des recherches peut ainsi se régler pendant l’inférence, la phase durant laquelle un modèle entraîné produit une réponse.

Que mesure l’autocritique ?

Les définitions des jetons dans l’article distinguent plusieurs évaluations. IsRel évalue si un passage contient des informations utiles au regard de l’entrée. IsSup évalue si le passage étaye les affirmations du segment généré, avec des valeurs correspondant à un étayage complet, partiel ou absent. IsUse note l’utilité de la réponse au regard de l’entrée sur une échelle de 1 à 5.

Le guide de démarrage rapide du dépôt des auteurs montre ces jetons spéciaux dans les instructions ou les sorties du modèle :

[Retrieval]
[Relevant]
[Fully supported]
[Utility:5]

Ces évaluations du modèle sont apprises pendant l’entraînement. Dans la procédure d’inférence de l’article, elles influencent le choix de la suite. Un passage peut être pertinent pour la question tout en n’étayant que partiellement une réponse donnée : la pertinence et l’étayage disposent donc de catégories de jetons distinctes.

Comment la réflexion est-elle apprise et utilisée pour sélectionner une réponse ?

La procédure d’entraînement utilise d’abord les évaluations de GPT-4 pour entraîner un modèle critique, c’est-à-dire un modèle qui prédit des étiquettes de réflexion. Ce modèle critique insère des jetons de réflexion dans les exemples d’entraînement, aux côtés des passages issus de la recherche. Le générateur apprend ensuite à prédire à la fois le texte de la réponse et les jetons de réflexion avec l’objectif standard de prédiction du jeton suivant. Pendant l’inférence, il produit ses propres jetons de réflexion sans dépendre du modèle critique distinct.

Pour sélectionner une réponse, l’article utilise une recherche en faisceau (beam search) au niveau des segments : plusieurs suites candidates sont conservées pendant la construction de la réponse. Leur score combine la probabilité de génération et des scores critiques pondérés dérivés des probabilités des jetons. Augmenter le poids accordé à l’étayage par les sources donne plus d’influence à cette évaluation. L’article décrit aussi une contrainte stricte qui élimine une suite lorsque son jeton d’étayage indique une absence d’appui dans le passage.

Termes associés

Questions fréquentes

Self-RAG effectue-t-il toujours une recherche avant de répondre ?

La présentation du projet par les auteurs décrit des décisions de recherche à chaque segment. Le modèle peut effectuer plusieurs recherches ou produire une réponse complète sans recherche.

L’autocritique prouve-t-elle qu’une réponse est correcte ?

La section de l’article consacrée aux considérations éthiques reconnaît que le modèle peut encore produire des sorties dont les citations n’étayent pas entièrement le contenu. Les jetons de réflexion sont des prédictions du modèle utilisées pour attribuer un score aux suites candidates et les filtrer.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Article Self-RAG