En bref. GAIA évalue l’accomplissement de tâches par les assistants à partir de réponses factuelles courtes, y compris pour des tâches nécessitant des éléments de preuve du Web et des outils.

Définition : GAIA: a benchmark for General AI Assistants présente GAIA, un banc d’essai (benchmark) qui évalue les assistants sur des questions factuelles mobilisant le raisonnement, l’utilisation d’outils et le traitement de différents types de médias. Les tâches peuvent nécessiter de parcourir le Web ou de lire des fichiers joints, et appellent des réponses courtes et vérifiables.

Points clés

Le résumé original des auteurs décrit 466 questions. Les réponses à 300 d’entre elles sont gardées confidentielles pour l’évaluation servant au classement.
L’article publié à ICLR définit trois niveaux de difficulté à partir d’un indicateur : les étapes et les outils nécessaires aux annotateurs humains.
Au 17 octobre 2026, la fiche officielle du jeu de données décrit un accès soumis à autorisation et demande d’éviter de partager les questions de validation ou de test dans un format accessible aux robots d’exploration.

Que demande une tâche GAIA ?

La description des tâches dans l’article explique que les questions consistent à rechercher et à transformer des informations provenant de documents fournis ou du Web ouvert. Le traitement de plusieurs types de médias implique de travailler sur des contenus tels que des images, des enregistrements audio et des feuilles de calcul, en complément du texte.

La figure 1 donne un exemple de recherche sur le Web : trouver le nombre réel de participants à un essai clinique sur le site du NIH. La figure 2 présente une tâche portant sur un fichier : calculer les ventes de nourriture d’une chaîne de restauration rapide à partir d’une feuille de calcul jointe, en excluant les boissons. Ces exemples concrétisent le rôle des éléments de preuve : l’assistant doit repérer les informations pertinentes et effectuer l’opération demandée.

L’article laisse le choix des outils ouvert et admet plusieurs chemins vers une réponse. Les tâches sur le Web nécessitent de parcourir les sites en cliquant ; les actions telles que publier des commentaires ou planifier des réunions sortent du périmètre des capacités testées.

Comment fonctionnent les niveaux de difficulté ?

Les définitions de la difficulté dans l’article indiquent que le niveau 1 ne nécessite généralement aucun outil, ou au plus un outil et pas plus de 5 étapes. Le niveau 2 implique généralement environ 5 à 10 étapes et une combinaison d’outils. Le niveau 3 admet des séquences d’actions de longueur arbitraire et un nombre quelconque d’outils.

Ces catégories sont approximatives. Les auteurs expliquent qu’une navigation complexe sur le Web peut placer une question au niveau 3 même lorsqu’un annotateur a besoin de moins de 10 étapes. Les niveaux résument donc la difficulté de la tâche telle qu’elle est annotée, sans imposer de limite d’exécution à l’assistant.

Que mesure le score ?

La section consacrée à l’évaluation décrit une comparaison avec une réponse de référence, avec une normalisation adaptée au type de réponse. L’invite de l’article utilise ce modèle de réponse finale :

FINAL ANSWER: [YOUR FINAL ANSWER]

Les réponses peuvent prendre la forme d’un nombre, d’une courte chaîne de caractères ou d’une liste dont les éléments sont séparés par des virgules. Au 17 octobre 2026, le script de calcul du score du classement associé supprime les symboles monétaires, les signes de pourcentage et les virgules lors de la normalisation des réponses numériques. Pour comparer les chaînes de caractères, il supprime par défaut les caractères d’espacement et la ponctuation, puis convertit le texte en minuscules.

Le script reçoit la réponse du modèle et la réponse de référence. Il évalue leur concordance sans examiner les pages citées. Un score GAIA indique donc l’exactitude de la réponse finale ; vérifier si une page liée étaye une affirmation nécessite une évaluation distincte des citations.

Termes associés

Questions fréquentes

Chaque question nécessite-t-elle de parcourir le Web ?

L’article inclut des tâches portant sur des fichiers fournis et admet des questions de niveau 1 sans outil. Il précise aussi que les assistants peuvent combiner leurs capacités de différentes manières pour parvenir à une réponse.

Que devez-vous fournir pour évaluer un assistant ?

Les consignes de l’article demandent de fournir la question et les éventuels éléments de preuve joints, avec une invite sans exemple (zero-shot), c’est-à-dire sans exemple résolu dans l’invite. La fiche du jeu de données identifie les pièces jointes au moyen de champs de fichier associés à la question.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Benchmark GAIA