En bref. REALM préentraîne conjointement un module de recherche et un encodeur de langage en récompensant les passages trouvés qui aident à prédire les mots masqués.

Définition : REALM: Retrieval-Augmented Language Model Pre-Training est un article de 2020 qui propose un système apprenant à rechercher des textes externes tout en entraînant un modèle de langage à prédire des mots masqués. La tâche de prédiction fournit le signal d’apprentissage au module de recherche documentaire (retriever), sans annotations humaines désignant les documents utiles.

Points clés

La notice de publication de PMLR décrit la recherche documentaire pendant le préentraînement, l’ajustement fin (fine-tuning) et l’inférence.
La présentation de REALM par Google Research indique que Wikipedia constitue la collection de connaissances externes utilisée dans ses expériences.
Le fichier README de l’implémentation publiée explique que les documents qui aident à prédire les mots manquants reçoivent un poids plus élevé pendant l’entraînement.

Comment la recherche documentaire fournit-elle un signal de préentraînement ?

Le préentraînement consiste à apprendre des représentations du langage à partir de textes non annotés, avant un entraînement destiné à une tâche précise. La modélisation du langage par masquage est une tâche de préentraînement dans laquelle le modèle prédit des mots masqués dans un passage fourni en entrée.

L’article REALM associe un module neuronal de recherche de connaissances à un encodeur enrichi de connaissances, un modèle qui lit l’entrée avec le texte trouvé. Le module de recherche sélectionne des passages potentiellement utiles. L’encodeur utilise ces passages pour prédire les mots masqués.

Le document trouvé est une variable latente : les exemples d’entraînement fournissent les mots manquants sans désigner le document qui doit aider à les prédire. L’objectif d’entraînement approxime une somme sur la collection à partir des documents trouvés ayant les scores les plus élevés, en combinant leurs prédictions pondérées par leurs probabilités de recherche. Un document reçoit une mise à jour positive pour la recherche lorsqu’il rend la prédiction correcte plus probable que ne le prévoit la distribution de recherche actuelle.

L’exemple détaillé de Google Research présente cette entrée masquée :

We paid twenty __ at the Buckingham Palace gift shop.

Le mot cible est « pounds ». Le texte d’appui peut relier Buckingham Palace à Londres ou indiquer la monnaie du Royaume-Uni. Plusieurs passages peuvent donc aider à effectuer la même prédiction.

L’article masque aussi des entités nommées et des dates pour encourager les prédictions qui nécessitent des connaissances. Il inclut un document candidat vide pour les cas où des informations externes sont inutiles. Lorsque le passage d’entraînement figure aussi dans la collection de recherche, le document d’origine est exclu pour éviter la copie de la phrase non masquée.

Comment REALM effectue-t-il une recherche dans une grande collection pendant l’entraînement ?

Un plongement vectoriel (embedding) est un vecteur numérique représentant un texte. L’architecture du module de recherche décrite dans l’article encode séparément les entrées et les documents, puis évalue leur pertinence à l’aide du produit scalaire de leurs vecteurs. La recherche du produit scalaire maximal (Maximum Inner Product Search, ou MIPS) trouve des candidats aux scores élevés sans appliquer l’encodeur à toute la collection pour chaque entrée.

Les vecteurs des documents sont précalculés dans un index de recherche. L’entraînement modifie l’encodeur de documents ; l’index doit donc être actualisé. L’explication technique de Google indique que les vecteurs des documents sont mis à jour tous les 500 pas d’entraînement. Une actualisation asynchrone permet de poursuivre l’entraînement pendant qu’un processus distinct reconstruit l’index.

Cette mise à jour de l’index concerne les représentations vectorielles apprises pendant le préentraînement. Dans les expériences d’ajustement fin pour les questions-réponses présentées dans l’article, les plongements des documents restent fixes tandis que l’encodeur d’entrée continue d’apprendre.

Que mesure l’évaluation ?

La tâche de questions-réponses en domaine ouvert consiste à répondre à une question sans recevoir de document d’appui présélectionné. L’évaluation de l’article utilise NaturalQuestions-Open, WebQuestions et CuratedTrec et mesure la correspondance exacte avec les réponses de référence.

Après le préentraînement, REALM fait l’objet d’un ajustement fin à partir d’exemples de questions-réponses. Son modèle de réponse sélectionne un segment de texte contigu dans un document trouvé. Les expériences d’entraînement comparent Wikipedia et CC-News comme textes de préentraînement, tout en utilisant Wikipedia comme collection de recherche. Ces expériences évaluent les questions-réponses ; l’article ne teste ni les modifications de sites web ni les taux de citation des moteurs de réponse actuels.

Termes associés

Questions fréquentes

Avez-vous besoin de documents annotés comme pertinents pour préentraîner REALM ?

Le README de l’implémentation décrit un objectif d’entraînement non supervisé consistant à compléter un texte à trous. La prédiction des mots manquants fournit un retour sur les documents trouvés qui sont utiles ; l’ajustement fin ultérieur pour une tâche précise utilise des exemples supervisés.

Que signifie « document » dans cet article ?

L’article emploie le terme « document » pour désigner un passage de la collection de connaissances. Un document candidat peut correspondre à une partie d’un article.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Article REALM