En bref. Les connaissances paramétriques sont les informations encodées dans les poids du modèle, testées par la restitution de faits sans récupération externe et par des modifications contrôlées des poids.

Définition : Les connaissances paramétriques (parametric knowledge) sont les informations encodées dans les poids appris d’un modèle de langage, c’est-à-dire les paramètres internes qui servent à produire des prédictions. Les chercheurs testent la restitution de connaissances factuelles en posant des questions sans recherche externe ni récupération d’informations.

Points clés

La révision de mars 2026 de SimpleQA Verified décrit un banc d’essai composé de 1 000 requêtes évaluées sans outils.
L’article sur la génération augmentée par recherche associe un modèle préentraîné à un index externe de passages de Wikipédia.
L’étude ROME examine le stockage des connaissances factuelles en modifiant les poids du modèle, puis en évaluant les prédictions obtenues.

Comment SimpleQA Verified teste-t-il la restitution de connaissances factuelles ?

L’article sur SimpleQA Verified porte sur les réponses factuelles courtes. La construction de ce banc d’essai élimine les questions similaires, équilibre les sujets et les types de réponses, et résout les contradictions entre les sources de référence. Ces choix influent sur les faits échantillonnés par l’évaluation et sur la fiabilité des réponses de référence.

Un évaluateur automatique classe chaque réponse dans une catégorie : correcte, incorrecte ou sans tentative de réponse. L’article présente un score F1, la moyenne harmonique entre l’exactitude globale et l’exactitude parmi les tentatives de réponse. Ce score combine l’exactitude factuelle et la propension du modèle à répondre.

Les consignes d’évaluation portent sur la réponse directe et ignorent les informations supplémentaires. Une réponse qui énumère plusieurs possibilités doit en privilégier une pour compter comme une tentative de réponse. Le protocole sans outils de l’article isole la restitution des connaissances de l’aide apportée par la recherche.

Comment les chercheurs sondent-ils des faits précis ?

L’article Language Models as Knowledge Bases?, de Petroni et ses collègues, présente la sonde LAMA, un ensemble de tests portant sur des relations factuelles et de sens commun. Une sonde est une entrée conçue pour faire restituer une connaissance précise. Ici, le modèle complète un mot manquant dans une phrase, appelée phrase à trou.

L’article illustre la méthode avec cette entrée :

Dante was born in [Mask].

Le complément attendu est Florence. Dans leur protocole, les chercheurs considèrent qu’une prédiction correcte de l’objet manquant constitue un indice que le modèle connaît la relation correspondante. Ils testent des modèles préentraînés sans entraînement supplémentaire pour cette tâche et constatent que certains types de connaissances factuelles s’apprennent plus facilement que d’autres.

En quoi les connaissances stockées diffèrent-elles des informations récupérées ?

La génération augmentée par recherche (retrieval-augmented generation), ou RAG, fournit des documents récupérés comme contexte supplémentaire pour produire une réponse. Dans l’architecture RAG de Lewis et ses collègues, la composante paramétrique est un modèle préentraîné de séquence à séquence, qui transforme une séquence d’entrée en une séquence de sortie. La mémoire externe est un index interrogeable de passages de Wikipédia.

L’article montre comment mettre à jour les connaissances du système en remplaçant cet index externe. Cette mise à jour concerne les documents disponibles au moment de la réponse. La distinction compte pour évaluer le rôle d’un site web : une réponse peut s’appuyer sur du texte récupéré comme sur des informations encodées pendant l’entraînement. Un test de factualité sans outils examine ce dernier mécanisme.

Les chercheurs peuvent-ils modifier les connaissances dans les poids ?

L’étude Locating and Editing Factual Associations in GPT utilise des interventions causales : les chercheurs perturbent les activations internes, puis rétablissent certaines valeurs pour examiner leur effet sur une prédiction factuelle.

Les modules à propagation avant (feed-forward) sont des composants du réseau qui transforment les représentations internes. L’étude constate que ces modules jouent un rôle important dans les couches intermédiaires des modèles testés. Sa méthode Rank-One Model Editing, abrégée ROME, modifie les poids de ces modules pour changer une association factuelle. L’évaluation vérifie si la modification se retrouve dans différentes formulations et si les associations sans rapport restent intactes. Cette méthode complète les tests fondés sur les réponses par des éléments issus d’interventions à l’intérieur du modèle.

Termes associés

Questions fréquentes

Puis-je utiliser la recherche web pendant un test des connaissances paramétriques ?

SimpleQA Verified évalue les modèles sans outils. L’ajout d’une recherche modifie ce que mesure le test en fournissant des informations externes.

Puis-je tester la restitution de connaissances factuelles sans modifier le modèle ?

Oui. L’affinage (fine-tuning) consiste à poursuivre l’entraînement d’un modèle existant pour une tâche. L’étude LAMA teste des modèles préentraînés en leur faisant prédire des mots manquants, sans cet entraînement supplémentaire.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Connaissances paramétriques