En bref. Une longue fenêtre de contexte permet une entrée plus longue, tandis que l’usage mesuré de cette entrée varie selon la position des passages et la tâche.
Définition : Non. Une fenêtre de contexte (context window) désigne l’étendue du texte qu’un modèle de langage peut accepter en entrée. Dans les tâches contrôlées sur des contextes longs, l’exactitude des réponses varie selon la position des informations pertinentes et le travail nécessaire pour les exploiter.
Points clés
- L’étude de Liu et ses collègues, Lost in the Middle: How Language Models Use Long Contexts, publiée en 2024, constate que les performances sont souvent les plus élevées lorsque les informations pertinentes se trouvent près du début ou de la fin de l’entrée.
- L’étude RULER, publiée en 2024, évalue 17 modèles sur 13 tâches. Presque tous présentent une baisse importante des performances à mesure que le contexte s’allonge, malgré une exactitude presque parfaite à un test simple de recherche d’information.
- LongBench, publié en 2024, comprend 21 jeux de données répartis en six catégories de tâches, dont les questions-réponses, le résumé et la complétion de code.
Que change le déplacement d’un passage ?
Dans Lost in the Middle, la tâche de questions-réponses fournit une question et des documents, dont un contient la réponse annotée. Les chercheurs déplacent ce document au sein de l’entrée et font varier le nombre de documents distracteurs. Le réordonnancement laisse la réponse attendue inchangée.
L’exactitude obtenue suit souvent une courbe en U : elle est plus élevée aux extrémités et plus faible au milieu. L’article nomme la préférence pour le début biais de primauté (primacy bias) et la préférence pour la fin biais de récence (recency bias). Ces tendances sont mesurées dans les performances des réponses.
Pourquoi retrouver un seul fait constitue-t-il un test incomplet ?
Un test de l’aiguille dans une botte de foin (needle-in-a-haystack) demande à un modèle de retrouver une information précise insérée dans un texte distracteur. RULER étend ce dispositif à plusieurs cibles et à des tâches supplémentaires. Sa tâche de suivi de variables exige de suivre les liens entre des variables ; ses tâches de fréquence des mots exigent d’agréger des informations réparties dans l’entrée.
Les auteurs décrivent ces tâches synthétiques comme des tests comportementaux. L’évaluation publiée présente un score pour chaque longueur d’entrée, sans ventilation selon la position des éléments de preuve. Comparer les longueurs et comparer les positions revient donc à examiner des aspects différents des performances.
La tâche de recherche clé-valeur de Lost in the Middle demande la valeur associée à une clé donnée. Placer la requête à la fois avant et après les données permet de retrouver les valeurs avec une exactitude presque parfaite, tout en modifiant très peu les tendances des performances en questions-réponses.
Comment vérifier l’usage des documents par un assistant ?
Un test pratique adapté de Lost in the Middle conserve la même question et le même document contenant la réponse, déplace ce document entre plusieurs positions et vérifie l’exactitude des réponses. Faire varier séparément le nombre de distracteurs permet de tester la sensibilité à la longueur de l’entrée.
Le choix des tâches compte également. LongBench distingue les questions-réponses sur un seul document ou sur plusieurs documents du résumé et de la complétion de code. Pour un assistant qui répond à des questions sur les documents d’un site web, l’application pratique consiste à évaluer directement ces questions et à présenter les résultats par tâche et par longueur d’entrée.
Ces études ne mesurent pas la manière dont un moteur de réponse actuel ordonne les passages d’un site web ou choisit ses citations.
Termes associés
Questions fréquentes
Un passage situé au milieu est-il toujours ignoré ?
Non. Lost in the Middle relève une exactitude réduite dans les configurations testées, avec des performances souvent plus élevées aux extrémités. Ce résultat concerne la capacité à utiliser les informations pertinentes pour répondre.
Réussir un test de recherche d’information suffit-il pour résumer des documents ?
RULER traite la recherche d’information et l’agrégation comme des comportements distincts. Pour le résumé, vous pouvez inclure des tâches de résumé, que LongBench évalue comme une catégorie distincte.
Dois-je placer chaque fait important de mon site au début ?
Lost in the Middle déplace les documents au sein de l’entrée fournie à un modèle. Pour un assistant de site web, vous pouvez utiliser cette méthode afin de tester l’ordre des documents avant d’adopter une règle de placement.
Sources
- Liu et al., Transactions of the Association for Computational Linguistics, « Lost in the Middle: How Language Models Use Long Contexts », 2024
- Hsieh et al., arXiv, « RULER: What's the Real Context Size of Your Long-Context Language Models? », 6 août 2024
- Bai et al., ACL Anthology, « LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding », août 2024
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO