En bref. Utilisez des jeux de questions appariées et révisées et consignez séparément les langues des requêtes, des consignes, des réponses et des sources pour comparer les réponses des assistants IA.

Définition : Comparer les réponses d’une langue à l’autre consiste à évaluer des questions équivalentes dans des conditions linguistiques consignées. Un jeu de questions appariées conserve la même demande d’information dans chaque traduction, tandis que l’évaluation consigne séparément la langue demandée pour la réponse et les langues de ses sources.

Points clés

L’article MIRACL évalue la recherche d’information dans 18 langues, avec des questions et des documents recherchés dans la même langue et des jugements de pertinence formulés par des locuteurs natifs.
MKQA, un jeu de référence pour les systèmes de questions-réponses multilingues, aligne 10 000 paires question-réponse dans 26 langues, ce qui permet de comparer des questions équivalentes.
L’étude de Chirkova et de ses collègues sur la recherche d’information multilingue mesure le respect de la langue de réponse séparément de la qualité de la réponse et examine les variantes orthographiques des noms.
Au 17 octobre 2026, les consignes linguistiques de Google distinguent la langue de l’interface du choix de la langue des résultats et indiquent que la localisation influe sur la langue des résultats.

Comment apparier les jeux de questions ?

Un jeu de questions appariées attribue un identifiant commun à chaque besoin d’information et le conserve dans toutes les versions linguistiques. L’article MKQA décrit les questions parallèles comme les mêmes exemples dans chaque langue et fait appel à des traducteurs bilingues experts qui suivent des critères de localisation. Pour une agence, cette démarche suggère de constituer un jeu de traductions révisées qui conserve la même intention, les mêmes entités, les mêmes contraintes et la même réponse factuelle attendue.

Un réviseur bilingue doit vérifier chaque version avant la collecte. Une traduction qui modifie le lieu, le produit ou la condition d’admissibilité relève d’une comparaison distincte. Les questions propres à un marché peuvent constituer un panel supplémentaire, clairement identifié par marché ; leurs résultats doivent être présentés séparément de la comparaison entre langues fondée sur les questions appariées. Cette méthode préserve la distinction entre traduire une question et modifier le besoin d’information.

Quelles conditions linguistiques consigner dans le relevé de test ?

Chirkova et ses collègues distinguent la langue de la requête de celle du corpus interrogé et testent des consignes explicites sur la langue de réponse. Leur modèle de prompt comprend le fragment de consigne suivant, où la variable représente la langue cible :

Answer in {UL}.

Une agence peut consigner dans des champs distincts la langue de la question, celle des consignes, la langue de réponse demandée et les langues observées dans les sources. Une restriction sur la langue des sources, lorsqu’elle est disponible, figure également dans le relevé. Dans un corpus documentaire contrôlé, la langue du corpus constitue une condition expérimentale explicite.

Les consignes linguistiques de Google expliquent que les préférences de l’interface influent sur la langue des résultats, au même titre que la localisation ; les filtres linguistiques s’appliquent principalement aux résultats Web. Ces éléments justifient de consigner séparément la langue de l’interface, la région et les filtres disponibles. Le journal de collecte doit également conserver le moteur et le modèle affiché, l’horodatage de la collecte, les conditions de session, le prompt exact, la réponse complète et les URL des sources liées. Maintenir ces conditions constantes entre les versions linguistiques facilite l’audit de la comparaison.

Comment l’agence doit-elle évaluer les réponses ?

L’étude sur la recherche d’information multilingue définit le taux de respect de la langue demandée (correct language rate) comme la proportion de réponses rédigées dans la langue de l’utilisateur. Elle traite également des variations orthographiques des entités nommées, c’est-à-dire des noms de personnes, de lieux ou d’organisations. Ces éléments permettent de contrôler séparément le respect de la langue et le contenu factuel.

Dans un rapport d’agence, chaque question appariée peut être accompagnée d’une évaluation factuelle, de la langue de réponse observée et d’une liste des pages citées. Un réviseur doit vérifier si les pages liées étayent les affirmations de la réponse et accepter les graphies locales établies d’une même entité. Les résultats doivent indiquer le nombre de questions évaluées pour chaque langue et signaler les réponses manquantes. Un tableau comparatif peut alors distinguer les erreurs factuelles, les écarts par rapport à la langue demandée et les différences entre les sources liées, sans considérer chaque différence de formulation comme une erreur.

Termes associés

Questions fréquentes

Puis-je utiliser MIRACL pour comparer directement des réponses ?

MIRACL évalue la recherche de passages pertinents dans un corpus de même langue, comme l’explique son article. Pour un audit de réponses en agence, utilisez ses conditions explicites de recherche d’information comme référence méthodologique et définissez une évaluation distincte des réponses.

Puis-je traduire automatiquement une liste de questions ?

Vous pouvez utiliser une traduction automatique comme première version, suivie d’une révision bilingue. MKQA fait appel à des traducteurs bilingues experts qui suivent des critères de localisation, ce qui fournit une référence pour préserver l’équivalence entre les versions linguistiques.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment une agence doit-elle comparer les réponses d’une langue à l’autre ?