En bref. La recherche d’information fournit des documents de référence, mais RAGTruth relève des affirmations non étayées et contradictoires même lorsque les modèles ont pour consigne de s’appuyer sur ces éléments.

Définition : Non. L’étude RAGTruth relève des affirmations non étayées et contradictoires dans la génération augmentée par recherche d’information (retrieval-augmented generation, RAG), une méthode qui fournit des documents de référence externes à un modèle de langage pendant qu’il produit une réponse.

Points clés

L’article RAGTruth relève des hallucinations dans 43,1 % de ses 17 790 réponses, réparties entre des tâches de questions-réponses, de description d’établissements et de résumé d’articles de presse.
L’étude sur le RAG de Lewis et de ses collègues rapporte des formulations plus conformes aux faits que celles d’un modèle de comparaison sans recherche d’information, dans ses expériences de génération de texte.
Lost in the Middle constate que déplacer les informations pertinentes affecte les performances dans les tâches de questions-réponses et de recherche de paires clé-valeur testées, même lorsque ces informations restent présentes dans le texte d’entrée.

Que teste précisément RAGTruth ?

Publiée en août 2024, l’étude RAGTruth examine des réponses produites naturellement par six modèles. Sa tâche de questions-réponses fournit trois passages issus d’une recherche par question et demande des réponses fondées uniquement sur ces passages. La tâche de description d’établissements fournit des données structurées sur les établissements et des avis clients. La tâche de résumé fournit des articles de presse.

Des annotateurs humains repèrent les segments de texte contenant des informations non étayées ou contradictoires. Chaque réponse fait l’objet d’annotations indépendantes par deux personnes, puis d’un examen supplémentaire lorsque leurs annotations divergent fortement. L’étude vérifie ainsi le rapport entre les affirmations produites et les documents fournis au modèle.

Sa définition d’une hallucination inclut toute information absente des documents de référence, même si cette information peut être vraie. L’article donne l’exemple d’une affirmation selon laquelle un restaurant accepte les cartes bancaires, sans document de référence à l’appui. Le pourcentage rapporté mesure les erreurs au regard de ce critère d’appui sur les sources, pour les modèles et les tâches de l’échantillon ; il ne fournit aucun taux d’erreur actuel pour les moteurs de réponse commerciaux.

Quelles erreurs surviennent malgré les éléments fournis ?

L’annexe A de RAGTruth présente un exemple de restaurant dont la source contient le champ suivant, reproduit ici dans un objet JSON :

{"RestaurantsReservations": false}

La description produite affirme pourtant que le restaurant accepte les réservations. Elle contredit directement la valeur fournie. Dans un autre exemple, le champ relatif à la vente à emporter vaut vrai, tandis que la réponse ajoute la livraison parmi les services disponibles. Ce service supplémentaire n’est pas étayé par la source affichée.

L’étude observe aussi que certains modèles interprètent une valeur manquante, représentée par null, comme faux. Ses règles d’annotation comptabilisent cette conversion comme une information non étayée, car le jeu de données exprime la négation par une valeur explicitement fausse ou par le texte No. Une information manquante et une négation explicite peuvent donc conduire à des jugements différents lors de la vérification d’une description d’établissement.

Ces exemples donnent aux responsables de sites web des points de contrôle concrets pour examiner une réponse d’IA au sujet d’un établissement : comparer les affirmations sur les réservations à la valeur fournie pour ce champ, vérifier les services ajoutés au regard des éléments disponibles et préserver la distinction entre données manquantes et données négatives.

Comment vérifier l’utilisation des éléments fournis ?

La méthode d’annotation de RAGTruth compare les documents de référence à chaque segment de réponse. Une vérification qui suit cette approche conserve les passages fournis à côté de la réponse et repère les mots qui les contredisent ou ajoutent des informations non étayées. La vérification des documents issus de la recherche et celle des affirmations produites constituent deux étapes distinctes de cet examen.

Le même article teste un détecteur supplémentaire qui sélectionne une réponse parmi plusieurs réponses candidates. Dans le groupe utilisant GPT-3.5-Turbo-0613 et GPT-4-0613, la sélection des réponses sans segment d’hallucination détecté laisse subsister un taux d’hallucination mesuré de 4,8 %. La détection améliore la sélection dans cette expérience, tandis que des erreurs résiduelles persistent.

Termes associés

Questions fréquentes

La consigne de n’utiliser que les sources fournies résout-elle le problème ?

Non. La consigne de questions-réponses de RAGTruth exige des réponses strictement fondées sur les passages fournis et prévoit une réponse d’abstention lorsque l’information manque ; le jeu de données contient pourtant des réponses non étayées.

Une information non étayée est-elle toujours factuellement fausse ?

Non. RAGTruth qualifie explicitement d’hallucination toute information absente des documents de référence, même lorsqu’elle peut être vraie, et ajoute une annotation pour ces cas. Si vous auditez une réponse, déterminez si le problème est une contradiction ou un ajout non étayé.

Fournir davantage de texte suffit-il à assurer l’utilisation des éléments disponibles par le modèle ?

Lost in the Middle rapporte des performances plus faibles lorsque les informations pertinentes se trouvent au milieu de longs textes d’entrée, pour les modèles testés. Ses expériences distinguent la présence d’éléments probants de leur utilisation effective.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

La recherche d’information élimine-t-elle les affirmations non étayées de l’IA ?