Par Elisha Bajemon | Publié le 17 octobre 2026

Petit modèle ou juge LLM pour classer des sources : que montrent les études publiées ?

En bref

Un juge LLM peut classer des sources selon leur pertinence pour une question ; un modèle spécialisé peut aussi remplir cette fonction. Dans RankGPT, publié par Sun et ses coauteurs à EMNLP en décembre 2023, un DeBERTa entraîné à reproduire les classements de ChatGPT dépasse son enseignant sur la moyenne des jeux BEIR retenus. Le choix dépend donc de la tâche et du protocole. Nous recommandons de mesurer l’accord avec les humains sur les documents que votre outil doit traiter. Les biais du juge et le coût du traitement demandent également une évaluation adaptée à cet usage.

Points clés

• Sur les huit jeux BEIR retenus dans RankGPT, décembre 2023, le DeBERTa spécialisé atteint une moyenne de 53,03 en nDCG@10, contre 51,36 pour la configuration monoT5 comparée.
• Selon Thomas et ses coauteurs, SIGIR 2024, l’accord avec les évaluateurs humains varie fortement avec la consigne donnée au modèle.
• Zheng et ses coauteurs, décembre 2023, documentent des biais de position et de longueur dans l’évaluation de réponses d’assistants.
• Dans Scoring Without the Engine, septembre 2026, un cross-encoder qui reçoit la question présente un signal de classement supérieur à celui du score fixe sur le corpus étudié.

Qu’est-ce qu’un juge dans le classement de sources ?

Un juge de pertinence évalue un document par rapport à une demande. Le reranker, ou modèle de reclassement, intervient sur une liste de documents déjà sélectionnés et en modifie l’ordre.

Dans Passage Re-ranking with BERT, publié par Nogueira et Cho sur arXiv en janvier 2019 et révisé en avril 2020, chaque passage reçoit un score de pertinence pour la requête. Le modèle lit la question et le passage ensemble, puis les passages sont triés selon leurs scores. C’est le principe du cross-encoder : les deux textes entrent conjointement dans le modèle.

Un juge fondé sur un grand modèle de langage reçoit, lui, une consigne formulée en langage courant. Selon la tâche, on peut lui demander une note, une préférence entre réponses ou un classement de passages. Zheng et ses coauteurs, décembre 2023, étudient les deux premiers formats pour juger des réponses ; RankGPT étudie le classement de passages.

Pour comparer des outils, nous recommandons de commencer par le résultat attendu. Une note de qualité éditoriale, un ordre de pertinence pour une question et une préférence entre réponses correspondent à des évaluations différentes. Le modèle de référence doit accomplir la même tâche que l’outil testé.

Un petit modèle spécialisé peut-il dépasser un grand modèle ?

Oui, sur certains tests publiés, après un entraînement adapté au classement. Sun et ses coauteurs, dans RankGPT, décembre 2023, transfèrent les classements produits par ChatGPT à un modèle spécialisé. Cette méthode, appelée distillation, utilise les sorties du grand modèle comme données d’apprentissage.

Leur expérience part de 10 000 requêtes du jeu d’entraînement MS MARCO, chacune accompagnée de 20 passages récupérés avec BM25. ChatGPT ordonne ces passages. Un cross-encoder DeBERTa apprend ensuite à reproduire les préférences contenues dans ces classements.

Le tableau des résultats de spécialisation donne une moyenne nDCG@10 de 53,03 pour DeBERTa sur les huit jeux BEIR sélectionnés. Les valeurs sont de 49,37 pour ChatGPT et de 51,36 pour la configuration supervisée de monoT5 comparée. Le résultat porte sur cette sélection de jeux et sur cette mesure de classement des dix premiers résultats. Il ne désigne pas un gagnant pour tout corpus documentaire.

L’apport pratique est une possibilité de conception : employer un grand modèle pour produire des exemples de classement, puis entraîner un modèle spécialisé. Nous recommandons de comparer cette option à un usage direct du juge LLM lorsque vous disposez d’un volume régulier de documents à traiter. Le coût de préparation des exemples et de l’entraînement doit alors entrer dans la comparaison.

Jusqu’où les juges LLM s’accordent-ils avec les humains ?

L’accord dépend du jeu de données, de la consigne et de la manière de compter les désaccords. Dans l’étude de Thomas et ses coauteurs publiée à SIGIR en 2024, une version interne de GPT-4 attribue des jugements de pertinence à un échantillon stratifié de 3 000 couples question-document de TREC-Robust. Chaque niveau initial de pertinence y compte autant de couples.

Les chercheurs comparent le modèle aux évaluateurs de TREC après avoir regroupé les jugements « pertinent » et « très pertinent ». Dans le tableau comparant les structures de consigne, le kappa de Cohen, une mesure d’accord qui tient compte du hasard, varie de 0,20 à 0,64. La meilleure configuration de ce tableau atteint 0,64 ± 0,02, avec un intervalle de confiance à 95 %. La consigne inclut alors une description du besoin, des précisions sur les documents attendus et une évaluation par aspects.

Même de simples paraphrases de la consigne modifient les résultats. Pour sélectionner un juge, les auteurs soulignent donc l’importance de disposer de jugements humains de référence. Leur étude examine aussi l’accord sur les préférences entre documents : attribuer exactement la même note et placer les documents dans le même ordre sont deux critères distincts.

Dans MT-Bench, étudié par Zheng et ses coauteurs dans la version de décembre 2023, l’accord entre GPT-4 et les humains atteint 85 % au premier tour, uniquement sur les comparaisons sans égalité ni incohérence liée à l’ordre des réponses. Le protocole mobilise 58 évaluateurs sur 80 questions. Il porte sur des réponses d’assistants, et ce taux ne mesure donc pas la justesse d’un classement de sources web.

Quels biais faut-il contrôler dans les jugements ?

L’ordre d’affichage et la longueur peuvent peser sur l’évaluation. Dans l’étude de Zheng et ses coauteurs, décembre 2023, les chercheurs inversent l’ordre de réponses similaires et observent des décisions qui changent. Leur contrôle consiste à soumettre chaque paire dans les deux ordres et à retenir une préférence seulement lorsqu’elle reste cohérente.

Pour tester la longueur, ils allongent des réponses contenant des listes en répétant leur contenu sous une autre formulation. Les juges peuvent préférer ces versions sans information supplémentaire. Le biais mesuré concerne la qualité attribuée à des réponses d’assistants.

L’auto-préférence dispose d’une étude dédiée. Panickssery, Bowman et Feng, dans leur prépublication d’avril 2024, évaluent des résumés d’articles tirés des corpus XSUM et CNN/DailyMail. Les modèles évalués favorisent leurs propres productions. Les auteurs constatent aussi une corrélation entre leur capacité à reconnaître ces productions et la force de cette préférence, après des expériences d’entraînement contrôlées.

Pour appliquer ces travaux à un juge documentaire, nous recommandons de permuter les documents et de tester des variations de longueur à information constante. Distinguez aussi les modèles qui produisent les textes de ceux qui les évaluent. Conservez les résultats de chaque variante. Un désaccord entre variantes doit rester visible dans le bilan du test, même si vous choisissez ensuite une règle pour départager les documents.

Comment comparer le coût des approches ?

Le coût dépend du nombre de passages lus et de la procédure de classement. L’annexe de RankGPT, décembre 2023, fournit un exemple chiffré sur TREC : la procédure GPT-4 complète revient en moyenne à 0,596 dollar par requête, contre 0,098 dollar pour l’étape GPT-4 limitée au reclassement des 30 passages présélectionnés par ChatGPT. Ce dernier montant couvre l’étape GPT-4 ; la présélection a son propre coût.

Ces montants décrivent les conditions de l’expérience publiée. Pour établir un budget aujourd’hui, nous recommandons de mesurer le coût du traitement complet sur votre échantillon, avec le nombre réel de documents et leur longueur.

Comparez aussi le délai de réponse et les ressources nécessaires à l’exploitation d’un modèle spécialisé. Ajoutez les appels répétés pour contrôler l’ordre des documents, ainsi que le temps de vérification humaine. Pour une approche distillée, séparez la dépense initiale de constitution des exemples et d’entraînement du coût de chaque nouveau classement. Ce cadre de comparaison est notre recommandation de méthode, à chiffrer sur votre installation.

Que change la prise en compte de la question ?

Elle apporte une information que le score du seul document ne contient pas. Scoring Without the Engine, publié sur arXiv par Bajemon et Rochet le 7 septembre 2026, compare un score fixe à des méthodes qui utilisent la question pour classer les sources selon les citations observées.

Le tableau de comparaison porte sur 229 questions, 1 269 groupes question-moteur et dix moteurs. La corrélation de Spearman calculée à l’intérieur des groupes atteint 0,119 pour le score fixe et 0,388 pour le score brut d’un cross-encoder, sans entraînement supplémentaire sur ce corpus. Les modèles entraînés sont évalués avec des questions séparées entre apprentissage et test, afin d’éviter qu’une même question apparaisse des deux côtés.

Cette comparaison concerne le signal associé aux citations dans le dispositif expérimental décrit. Le score fixe garde une fonction de filtre de qualité ; il ne prédit pas la citation. Le résultat invite, pour le classement, à tester explicitement l’information apportée par la question.

Pour choisir votre outil, notre recommandation est de préparer un échantillon représentatif de vos demandes, de faire juger les documents par des personnes connaissant le besoin, puis de réserver des questions au test final. Comparez les méthodes sur ces mêmes questions, avec le même ensemble de sources candidates. Vous pourrez alors décider si l’écart mesuré justifie le coût et les contraintes d’exploitation.

L’équipe Citead prépare un papier sur ce sujet.

Pour aller plus loin

• PAWC, part de citation et rang de la source : les mesures utilisées par la recherche sur le GEO.
• Lire une étude sur la visibilité dans les IA : corrélation, intervalle de confiance et taille d’échantillon.
• Pourquoi un score calculé sur le seul texte ne prédit pas le choix des sources par les moteurs.