Par Elisha Bajemon | Publié le 17 octobre 2026

Comment les LLM citent-ils leurs sources dans une étude sur dix modèles ?

En bref

Dans ce protocole contrôlé, les dix modèles présentent des corrélations modestes entre score de contenu Citead et parts de citation, de 0,016 à 0,157. Selon Bajemon et Rochet, dans Scoring Without the Engine, déposé le 7 septembre 2026, le score reste un filtre de qualité du contenu. Les modèles répondent à des questions avec des sources imposées. La corrélation groupée atteint 0,114 pour les sept familles d’origine et 0,118 pour les trois modèles gpt-5.x ajoutés en réplication. Ces résultats décrivent une expérience contrôlée, sans mesurer directement les applications grand public.

Points clés

• Selon le papier de Bajemon et Rochet, septembre 2026, la série d’origine rassemble 821 enregistrements sur 229 questions ; 777 couples modèle-question sont exploitables pour la corrélation.
• La même étude rapporte une réplication de juillet 2026 sur gpt-5.5, gpt-5.4 et gpt-5.4-mini, avec 150 questions par modèle et le raisonnement désactivé.
• Les rapports du dépôt associé au papier détaillent les résultats par modèle. Les tailles d’échantillon diffèrent, ce qui compte pour lire les écarts.
• Dans le papier, aucun des trois leviers GEO issus de 2023 ne produit de hausse démontrée des citations dans ce protocole. La corrélation du score et l’effet d’une modification du texte sont des mesures distinctes.

1. Comment les dix modèles ont-ils été interrogés ?

Les modèles reçoivent une question accompagnée de cinq sources déjà sélectionnées. Le protocole de Bajemon et Rochet, septembre 2026 leur demande de répondre avec des références associées aux phrases. Il examine ainsi le choix entre des documents fournis, dans un environnement contrôlé.

Pour l’expérience sur les citations textuelles, chaque question passe par trois conditions : les sources originales, une version où la source cible reçoit un extrait cité, puis une version où cette même source reçoit du texte neutre de longueur équivalente. Ce contrôle sert à distinguer l’effet de l’extrait ajouté de celui du volume de texte supplémentaire.

La visibilité d’une source se mesure par une part de type PAWC. Les chercheurs comptent les mots des phrases qui renvoient à cette source, les pondèrent par leur position dans la réponse, puis normalisent le résultat entre les sources. La mesure porte donc sur la place accordée au document dans la réponse.

Le protocole des modèles à poids ouverts fixe la température à 0, la graine et l’identifiant du modèle. Pour les gpt-5.x, les auteurs décrivent un seul passage par condition, car le fournisseur n’exposait ni température ni graine dans ces essais. Les données publiées permettent de refaire les analyses ; une nouvelle interrogation des modèles hébergés peut produire des résultats différents.

2. Quels modèles figurent dans l’étude, et lesquels manquent ?

L’étude réunit six modèles à poids ouverts, un modèle commercial à poids fermés dans la série initiale, puis trois modèles propriétaires en réplication. Les noms figurent dans le tableau ci-dessous. Selon la description des expériences de septembre 2026, les résultats groupés de la série d’origine restent séparés de ceux de la réplication gpt-5.x.

La sélection dépend de l’achèvement du protocole à l’échelle visée. Des essais partiels sont publiés mais exclus de l’analyse principale. Cela concerne notamment les trois essais Claude, interrompus faute de crédit après 47, 41 et 13 questions. Les auteurs précisent qu’aucun essai n’est écarté pour son résultat.

Ce périmètre concerne des modèles interrogés dans une expérience. Les produits ChatGPT, Gemini, Perplexity ou les aperçus IA de Google, tels que vous les utilisez avec leur recherche de sources, restent hors de cette comparaison contrôlée.

3. Que vaut la corrélation du score, modèle par modèle ?

La corrélation est positive et modeste dans les séries publiées, avec un résultat proche de zéro pour gpt-oss-120b. Le rapport statistique du dépôt associé au papier de septembre 2026 fournit les valeurs des sept familles d’origine avec la pondération du score de contenu retenue dans le papier, sous la clé v5_scores.

Pour chaque question, le calcul compare l’ordre des scores de contenu à l’ordre des parts de citation obtenues avec les sources originales. Il fait ensuite la moyenne de ces corrélations de Spearman. La colonne n compte les questions où les données varient suffisamment pour calculer cette corrélation. Une corrélation n’est pas un taux de citation.

Les corrélations sont présentées à quatre décimales pour la série d’origine et à trois pour la réplication, selon la précision des rapports. Les valeurs p sont reprises sans arrondi supplémentaire. Les rapports gpt-5.5, gpt-5.4 et gpt-5.4-mini ne donnent pas de valeur p pour ces corrélations individuelles.

Pour les sept modèles initiaux, le script statistique des auteurs teste l’hypothèse d’une corrélation moyenne nulle. Le papier rapporte une association individuellement significative sur quatre des sept familles. Nous recommandons de lire chaque résultat avec son effectif, sans en déduire un modèle à privilégier pour votre site : les documents étaient imposés et les échantillons sont inégaux.

Le résultat groupé est de 0,114 sur 777 couples modèle-question pour la série initiale. La réplication atteint 0,118 sur 450 couples. Dans les deux cas, le score reste un indicateur de qualité dont l’association avec la citation est limitée.

4. Pourquoi les modèles ne réagissent-ils pas tous de la même façon ?

L’écart entre modèles doit se lire avec la dispersion des scores et la taille des échantillons. L’analyse d’erreurs de Bajemon et Rochet, septembre 2026 observe ce qui se passe lorsque les notes des sources candidates sont proches.

En regroupant les observations des dix modèles selon cette dispersion, la corrélation moyenne passe de 0,066 dans le quartile où les notes sont les plus resserrées à 0,240 dans celui où elles sont les plus dispersées. Lorsque les documents reçoivent des notes semblables, le score distingue moins bien leur place relative dans les citations.

Cette observation porte sur les groupes de sources du protocole. Elle ne fournit pas une explication causale du comportement propre à chaque modèle. Les auteurs ont d’ailleurs testé un indicateur de confiance fondé sur la dispersion ; sa confirmation sur des données tenues à l’écart a échoué.

Pour lire le tableau, gardez donc l’effectif à côté de chaque corrélation. Les 44 questions exploitables de gpt-oss-120b et les 227 de mistral-medium-3.5 représentent des bases de comparaison différentes. La proximité ou l’écart des valeurs ne suffit pas à attribuer une préférence éditoriale stable à un modèle.

5. Les leviers de 2023 se comportent-ils différemment selon le modèle ?

Aucun effet positif démontré ne ressort des leviers testés dans cette expérience contrôlée. Le tableau des interventions de Bajemon et Rochet, septembre 2026 examine l’ajout d’extraits cités, de statistiques et de références à des sources.

Pour les extraits cités, six des sept familles d’origine présentent un résultat non significatif face au texte neutre. Sur gpt-oss, l’estimation est négative : −0,055 de part PAWC, avec une valeur p de 0,013 avant correction. Elle perd sa significativité après la correction de Bonferroni qui tient compte des tests multiples.

Sur les trois modèles gpt-5.x regroupés, l’effet des extraits cités vaut −0,0106. Les estimations pour les statistiques et les références à des sources sont également négatives ; aucun effet de cette réplication ne reste significatif après correction sur les tests groupés des leviers.

Ces résultats concernent des modifications déterministes des documents fournis aux modèles. Ils conduisent à séparer la qualité éditoriale d’une page de l’effet mesuré d’un ajout sur sa part de citation. Pour prolonger cette lecture, voir Les trois leviers GEO de 2023 ne déplacent plus la citation sur les dix familles de moteurs testées.

6. Que retenir pour les applications grand public, hors de ce protocole ?

Le protocole à sources imposées ne mesure pas directement les réponses des applications ChatGPT, Gemini ou Perplexity. Dans les limites de l’étude de septembre 2026, les auteurs distinguent leur expérience d’une concurrence sur le web incluant la recherche et le dédoublonnage des sources.

Pour votre site, nous recommandons de conserver les questions posées et les réponses observées avec leur date et les adresses effectivement mentionnées. Vous pourrez ainsi discuter de ce que le produit a renvoyé sur votre périmètre, sans convertir une corrélation de laboratoire en prévision individuelle.

La présentation du suivi des citations Citead décrit l’archivage des citations et des absences avec leur date. Il s’agit d’un constat sur les questions suivies.

Pour aller plus loin

• Pourquoi un score calculé sur le seul texte ne prédit pas le choix des sources par les moteurs.
• Lire une étude sur la visibilité dans les IA : corrélation, intervalle de confiance et taille d’échantillon.
• Robots d’IA, citations et visites : suivre de bout en bout ce que les moteurs de réponse font de votre site.

Poursuivez avec Comment les moteurs de réponse choisissent leurs sources : ce que les études publiées permettent d’affirmer en 2026.