En bref. KILT évalue des tâches langagières nécessitant de nombreuses connaissances à partir d’une source Wikipédia fixe et de scores combinant performance des réponses et recherche de preuves.

Définition : Le banc d’essai KILT (benchmark), présenté dans KILT: a Benchmark for Knowledge Intensive Language Tasks (2021), évalue des tâches langagières qui nécessitent des informations issues d’une vaste source de connaissances. Il évalue les sorties des systèmes ainsi que leur provenance, c’est-à-dire les éléments de preuve issus de Wikipédia qui étayent ces sorties.

Points clés

L’article publié rassemble onze jeux de données couvrant cinq tâches, tous fondés sur un même instantané de Wikipédia.
Au 17 octobre 2026, le README du projet indique que wikipedia_id est obligatoire dans les enregistrements de provenance.
Le programme d’évaluation publié n’accorde de points aux réponses dans les métriques KILT que si un ensemble complet de preuves de référence figure en tête du classement.

Qu’est-ce qu’une tâche nécessitant de nombreuses connaissances ?

Une tâche nécessitant de nombreuses connaissances exige l’accès à un vaste ensemble d’informations pour produire une sortie précise. L’article KILT comprend la vérification des faits, qui évalue une affirmation à partir de preuves ; la liaison d’entités (entity linking), qui associe une page Wikipédia à une entité mentionnée dans un texte ; et le remplissage de slots (slot filling), qui fournit la valeur manquante d’une relation pour une entité. Il comprend aussi les questions-réponses en domaine ouvert, où un système cherche une réponse dans une source de connaissances, et le dialogue ancré dans cette source.

Les entrées varient en conséquence : une affirmation, un passage de texte, une requête structurée, une question ou une conversation. FEVER fournit des exemples de vérification des faits, tandis que Wizard of Wikipedia fournit des exemples de dialogue. Une source commune permet de comparer les systèmes sur ces différents usages des connaissances sans reconstruire un index pour chaque jeu de données.

Cette source est l’instantané de Wikipédia du 1er août 2019, qui contient 5,9 millions d’articles. Les auteurs font correspondre les preuves d’origine des jeux de données à des passages de cette collection fixe.

Comment la provenance est-elle représentée ?

Le format de données décrit dans le README du projet associe une entrée à une liste de sorties. Une sortie peut contenir une réponse, des informations de provenance ou les deux. Les enregistrements de provenance identifient des pages Wikipédia et peuvent localiser les preuves à l’aide d’identifiants de paragraphes et de positions de caractères.

Cet objet de sortie schématique reprend les champs documentés ; les points de suspension représentent des valeurs :

{
    'answer': ...,
    'provenance': [
        {
            'wikipedia_id': ...,
            'start_paragraph_id': ...,
            'start_character': ...,
            'end_paragraph_id': ...,
            'end_character': ...
        }
    ]
}

La définition de la provenance dans l’article autorise des segments de preuve allant d’une entité à un article entier. Plusieurs segments peuvent former un ensemble de preuves complémentaires : réunis, ils fournissent les informations nécessaires à la sortie. Les annotations peuvent aussi consigner plusieurs ensembles de preuves valides possibles.

Comment KILT évalue-t-il les réponses et les preuves ?

La section de l’article consacrée à l’évaluation distingue la performance des réponses de la recherche de preuves. La recherche d’information (retrieval) consiste à trouver des éléments pertinents dans la source de connaissances. L’évaluation publiée de cette recherche s’effectue à l’échelle des pages Wikipédia, même si les annotations de provenance peuvent désigner des segments plus courts.

Pour les preuves, la précision à R (R-precision) est la proportion de pages pertinentes parmi les R premières pages retrouvées, où R est le nombre de pages d’un ensemble de preuves de référence. Lorsque plusieurs ensembles sont possibles, KILT retient la précision à R la plus élevée parmi ces ensembles. HotpotQA exige deux pages de preuve : retrouver une seule page pertinente laisse donc l’ensemble de preuves incomplet.

Pour les réponses, la correspondance exacte (Exact Match) mesure la concordance avec une réponse de référence après normalisation. KILT-EM n’accorde ces points à la réponse que lorsque la précision à R vaut 1 : un ensemble complet de preuves de référence doit occuper les premières positions. Une réponse correcte accompagnée d’un ensemble de preuves incomplet reçoit donc zéro point en KILT-EM.

Le programme d’évaluation publié applique cette condition à l’aide de wikipedia_id. Sa normalisation des réponses convertit le texte en minuscules et supprime la ponctuation, les articles et les espaces superflus. Lire un résultat Exact Match en regard de KILT-EM permet de distinguer la correspondance des réponses de cette même correspondance accompagnée des pages de preuve requises.

Termes associés

Questions fréquentes

Une réponse correcte peut-elle recevoir zéro point en KILT-EM ?

Oui. La règle de notation de KILT n’accorde de points à la réponse que si un ensemble complet de preuves de référence figure en tête du classement. L’exactitude de la réponse seule ne suffit pas.

KILT comprend-il des questions sans preuve disponible ?

Le même article définit KILT comme une ressource dont les preuves se trouvent dans la base de connaissances (in-knowledge-base) : les preuves nécessaires à chaque exemple sont présentes quelque part dans sa source de connaissances. Les exemples sans réponse possible sortent du cadre de ce banc d’essai.

Puis-je utiliser KILT pour mesurer les citations de mon site dans la recherche par IA ?

KILT évalue les sorties et les preuves par rapport à sa collection fixe de pages Wikipédia. Son périmètre ne fournit aucune mesure de la fréquence à laquelle un site apparaît dans les résultats en direct d’un moteur de réponse.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Banc d’essai KILT