En bref. Un jeu de prompts de test réutilise des questions fixes et des règles de notation définies pour comparer les réponses des assistants IA entre les sessions d’évaluation.

Définition : Un jeu de prompts de test (prompt test set) est un ensemble fixe de questions ou de consignes réutilisé pour évaluer un assistant IA dans des conditions définies. Chaque élément possède une règle de notation, par exemple une comparaison avec une réponse de référence, afin de pouvoir comparer les résultats d’une session d’évaluation à l’autre.

Points clés

L’article sur BrowseComp d’OpenAI décrit un jeu de données de 1 266 questions dont les réponses courtes, étayées par des preuves, sont conçues pour rester stables dans le temps.
La méthodologie d’évaluation HELM de Stanford CRFM encadre la manière dont les tâches sont soumises aux modèles et les évalue sur des scénarios communs pour permettre la comparaison.
L’évaluateur BrowseComp d’OpenAI, dans sa révision de mai 2025, permet de répéter l’ensemble des questions grâce au paramètre n_repeats.

Comment BrowseComp construit-il ses questions ?

La méthodologie de BrowseComp commence par la rédaction de questions factuelles par des personnes chargées de l’entraînement des modèles. Celles-ci partent d’un fait connu, sélectionnent des caractéristiques d’une personne, d’un événement ou d’un objet, puis les transforment en question inversée : trouver la réponse nécessite une recherche, tandis que vérifier une réponse proposée est relativement simple.

Le processus de sélection comprend des vérifications auprès de modèles existants et cinq recherches simples sur Google.

Pour évaluer un site web, cette approche invite à conserver les preuves à l’appui de chaque réponse de référence et à examiner les questions ambiguës avant de figer l’ensemble en vue de sa réutilisation.

Quels éléments restent fixes entre les sessions d’évaluation ?

La méthodologie HELM de Stanford CRFM distingue le scénario de la tâche de la procédure qui le transforme en prompt destiné au modèle. La description du scénario comprend la tâche, le domaine et la langue. HELM utilise des prompts simples et génériques et indique que la stratégie de formulation des prompts peut avoir un effet considérable sur les résultats.

Appliquée au jeu de questions d’un site web, cette méthode conduit à conserver la formulation exacte des questions, la langue, les consignes des prompts et les règles de notation. Une question modifiée relève d’une version du jeu identifiée séparément. Les comptes rendus des sessions doivent préciser l’assistant ou le modèle testé ainsi que la date, afin de donner un contexte explicite aux comparaisons ultérieures.

HELM donne également accès aux prompts bruts et aux prédictions des modèles derrière les résultats agrégés. Selon cette approche, conserver les réponses individuelles permet d’examiner quelles questions expliquent une variation du résultat. La sélection de questions pertinentes pour les clients fait partie de la définition du scénario d’évaluation.

À quoi ressemble un prompt de test ?

L’évaluateur BrowseComp d’OpenAI sépare la question d’un modèle de réponse commun. L’exemple suivant reproduit la structure de ce modèle, avec des espaces réservés à la place d’une question du jeu d’évaluation :

{Question}

Your response should be in the following format:
Explanation: {your explanation for your final answer}
Exact Answer: {your succinct, final answer}
Confidence: {your confidence score between 0% and 100% for your answer}

L’implémentation conserve la réponse de référence séparément de la question envoyée à l’assistant. Son outil de notation reçoit la question, la réponse produite et la réponse de référence. Cette séparation fournit un modèle concret pour stocker un élément de test et évaluer sa sortie sans fournir la réponse attendue dans le prompt de test.

Termes associés

Questions fréquentes

Un jeu de questions difficiles représente-t-il les recherches des clients ?

L’article sur BrowseComp décrit un sous-ensemble limité des capacités de navigation web et laisse incertaine sa relation avec les requêtes ouvertes des utilisateurs. Vous devez sélectionner les questions en fonction du public et des tâches couverts par votre évaluation.

Puis-je répéter les mêmes questions ?

L’évaluateur BrowseComp utilise n_repeats pour répéter l’ensemble des questions. Vous pouvez effectuer plusieurs sessions afin de conserver plusieurs réponses à chaque question fixe.

Comment les réponses courtes sont-elles vérifiées ?

BrowseComp utilise un outil de notation fondé sur l’IA pour comparer une réponse prédite à une réponse de référence et vérifier leur équivalence sémantique. Vous devez associer une règle de notation définie à l’ensemble des questions.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Jeu de prompts de test