En bref. WebGPT étudie la réponse aux questions à l’aide d’un navigateur et de retours humains, en distinguant la préférence pour une réponse de l’évaluation de sa véracité.

Définition : WebGPT: Browser-assisted question-answering with human feedback est un article de recherche d’OpenAI consacré à l’entraînement de GPT-3 à consulter le Web et à répondre à des questions en s’appuyant sur les références recueillies.

Points clés

L’article WebGPT rapporte des taux de préférence des évaluateurs humains de 56 % face aux réponses des démonstrateurs humains et de 69 % face aux réponses Reddit ayant reçu le plus de votes.
L’article ELI5 de Fan et ses collègues définit la réponse longue à des questions (long-form question answering) comme la production d’explications détaillées à des questions ouvertes, à partir de documents Web servant de sources.
L’article TruthfulQA de Lin et ses collègues décrit un jeu d’évaluation de la véracité comprenant 817 questions réparties en 38 catégories, conçu autour d’idées fausses répandues chez les humains.

Comment fonctionne la réponse aux questions avec l’aide d’un navigateur ?

Le navigateur décrit dans l’article WebGPT fournit au modèle un résumé textuel de la page consultée et lui permet d’exécuter des commandes. Le tableau des actions de l’article contient les modèles de commandes suivants :

Search <query>
Quote: <text>
End: Answer

La recherche utilise Bing. La commande de citation enregistre un extrait de page avec son titre et son nom de domaine. La rédaction de la réponse s’appuie sur les références recueillies. L’apprentissage par imitation (behavior cloning) consiste à apprendre à partir de démonstrations humaines ; l’échantillonnage par rejet (rejection sampling) sélectionne une réponse à l’aide d’un modèle entraîné à prédire les préférences humaines.

Quel est l’intérêt de la tâche ELI5 ?

L’étude ELI5 originale relève deux difficultés liées : trouver des informations pertinentes dans des documents longs et rédiger des explications de la longueur d’un paragraphe. ELI5 tire son nom du forum Reddit Explain Like I’m Five, dont les réponses visent à être compréhensibles sans connaissances préalables approfondies.

La même étude explique qu’une question peut admettre plusieurs réponses valides. La tâche exige donc d’évaluer les explications, au-delà de la simple vérification qu’une réponse reprend une expression correspondante dans un document source. Cela aide à comprendre le rôle des jugements humains dans la réponse aux questions avec l’aide d’un navigateur.

Quelles sont les limites de l’évaluation ?

L’évaluation de WebGPT mesure séparément la préférence pour une réponse et sa véracité. Pour la comparaison avec Reddit, les évaluateurs voient les réponses après suppression des citations et des références ; les égalités comptent comme une préférence de 50 %. La discussion de l’article relève des échecs liés à des sources peu fiables et des erreurs lors de la reformulation des éléments de preuve.

L’étude TruthfulQA cible les réponses fausses apprises à partir d’idées fausses humaines. Ses questions mettent délibérément ce comportement à l’épreuve. La véracité et le caractère informatif font l’objet de jugements distincts : une réponse évasive peut éviter les faussetés tout en apportant peu d’informations. Ces critères expliquent pourquoi les pourcentages de préférence et de véracité répondent à des questions d’évaluation différentes.

Termes associés

Questions fréquentes

Puis-je interpréter les taux de préférence comme des taux d’exactitude ?

Les résultats de WebGPT comparent les réponses selon la préférence des évaluateurs. Ils présentent une mesure différente des jugements de véracité utilisés pour TruthfulQA.

Pourquoi une réponse peut-elle être vraie mais peu utile ?

La procédure d’évaluation de TruthfulQA considère le fait d’éviter une affirmation fausse et celui de fournir des informations comme deux propriétés distinctes. Lorsque vous comparez les résultats, la proportion de réponses jugées à la fois vraies et informatives apporte un éclairage supplémentaire par rapport à la seule véracité.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Article de recherche WebGPT