En bref. L’étude mesure si les phrases de la recherche par IA sont entièrement étayées par les sources et si chaque citation étaye la phrase qui lui est associée.

Définition : Evaluating Verifiability in Generative Search Engines est une étude de Nelson F. Liu, Tianyi Zhang et Percy Liang qui examine dans quelle mesure les citations étayent les réponses de la recherche par IA. Elle mesure la vérifiabilité au moyen du rappel des citations (citation recall), la proportion de phrases vérifiables entièrement étayées par leurs citations, et de la précision des citations (citation precision), la proportion de citations qui étayent les phrases auxquelles elles sont associées.

Points clés

La notice de l’ACL Anthology présente une publication de décembre 2023 qui examine Bing Chat, NeevaAI, perplexity.ai et YouChat.
Le protocole d’évaluation de l’article utilise 1 450 requêtes par système et conserve la première réponse complète de chaque système, recueillie entre fin février et fin mars 2023.
Le dépôt associé des auteurs publie les annotations de l’évaluation humaine, qui relient les réponses, les phrases, les citations et les jugements sur leur étayage.

Quelles requêtes et réponses l’audit couvre-t-il ?

L’article évalue 12 distributions de requêtes. Elles comprennent des requêtes Google historiques issues de NaturalQuestions, des sujets de dissertation ouverts de l’examen d’entrée à All Souls College, des questions de débat produites par un modèle, des questions de la communauté Explain Like I’m Five de Reddit et des requêtes par mots-clés dérivées de titres d’articles WikiHow.

Pour les questions Reddit recueillies en direct, les chercheurs interrogent les systèmes dès la publication d’un nouveau message. Cela réduit la possibilité de retrouver la discussion d’origine comme source de réponse. L’audit enregistre une seule réponse par requête, sans poursuivre la conversation.

Les systèmes diffèrent aussi par la fréquence à laquelle ils refusent de répondre. NeevaAI s’abstient sur 22,7 % des requêtes évaluées, tandis que chacun des autres systèmes s’abstient sur moins de 0,5 %. Ces comportements de réponse comptent dans la comparaison des résultats entre systèmes.

Comment les annotateurs évaluent-ils l’étayage par les citations ?

Dans la méthode d’évaluation, un énoncé correspond à une phrase, et les citations qui lui sont associées sont les marqueurs de citation présents dans cette phrase. Les annotateurs repèrent d’abord les phrases qui nécessitent une vérification : les énoncés sur le monde extérieur, y compris les faits apparemment évidents. Les questions adressées à l’utilisateur et les énoncés sur le système lui-même font partie des exemples exclus de cette catégorie.

Le rappel des citations comptabilise les phrases entièrement étayées par les sources qui leur sont associées. Le jugement d’étayage suit le cadre d’attribution à des sources identifiées (attributable to identified sources) : un lecteur doit pouvoir confirmer la phrase d’après les pages citées, dans le contexte de la requête et de la réponse.

La précision des citations évalue chaque citation selon qu’elle étaye entièrement, partiellement ou aucunement la phrase. Une citation qui l’étaye partiellement entre dans le calcul de la précision uniquement lorsque les sources, prises ensemble, étayent entièrement la phrase et qu’aucune citation ne l’étaye entièrement à elle seule. En notation textuelle, les calculs de l’article sont les suivants :

rappel des citations = phrases vérifiables entièrement étayées / ensemble des phrases vérifiables
précision des citations = (citations étayant entièrement la phrase + citations l’étayant partiellement et remplissant les conditions) / ensemble des citations

La seconde formule applique la règle d’étayage conjoint décrite ci-dessus. Une phrase accompagnée de plusieurs citations peut donc compter comme étayée alors que certaines de ses citations ne contribuent pas au score de précision.

L’étude mobilise 34 annotateurs. Chaque réponse reçoit une annotation ; un contrôle de l’accord entre annotateurs recueille trois annotations pour 250 paires requête-réponse tirées au hasard. Les annotateurs évaluent aussi la fluidité et l’utilité perçue, séparément de l’étayage par les citations.

Quels résultats l’étude présente-t-elle et comment consulter ses données ?

Les résultats de l’article indiquent un rappel moyen des citations de 51,5 % et une précision de 74,5 % pour l’ensemble des systèmes audités. Ces chiffres décrivent les réponses historiques recueillies pour cette étude.

Le format des annotations publiées enregistre les cibles des citations dans link_target, l’étayage de chaque phrase dans statement_supported et les jugements sur chaque citation dans citation_supports. Son champ evidence contient le texte sélectionné par les annotateurs pour justifier un étayage complet ou partiel. Pour un propriétaire de site qui examine une page liée dans une réponse, ces champs fournissent un modèle concret pour consigner la phrase que la page étaye et le passage qui justifie ce jugement.

Termes connexes

Questions fréquentes

Une citation à côté d’une phrase suffit-elle à l’étayer entièrement ?

Selon la méthode de l’article, vous vérifiez si les sources citées étayent la phrase entière. Une page qui n’en étaye qu’une partie reçoit un jugement d’étayage partiel.

Où pouvez-vous consulter les jugements humains ?

Le README du dépôt des auteurs donne un lien vers human_evaluation_annotations.jsonl et décrit ses champs. Vous pouvez examiner la décision sur l’étayage de la phrase, les jugements sur chaque citation et les éléments justificatifs enregistrés.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Étude sur la vérifiabilité de la recherche par IA