Par Elisha Bajemon | Publié le 17 octobre 2026

Que mesure l’entropie de Shannon dans un texte et dans le score Citead ?

En bref

L’entropie de Shannon appliquée aux mots d’un texte mesure leur répartition : elle diminue quand les occurrences se concentrent sur quelques mots. Shannon, en 1948, définit une mesure de l’incertitude d’une source d’information. Dans Scoring Without the Engine, publié sur arXiv le 7 septembre 2026, Bajemon et Rochet décrivent son adaptation au score Citead. Le poids de cette sous-mesure, 0,246, est le plus élevé des onze sous-mesures. Sa note atteint déjà 100 sur 84 % des sources du corpus étudié. Pour l’interpréter, nous recommandons de regarder comment elle réagit aux modifications du texte.

Points clés

• Shannon, en 1948, établit une mesure maximale lorsque les symboles ont tous la même probabilité.
• Selon Bajemon et Rochet, septembre 2026, le calcul retient au plus les 100 mots distincts les plus fréquents après filtrage, puis normalise l’entropie par le logarithme du nombre de mots distincts retenus.
• Dans les exemples de Bajemon et Rochet, septembre 2026, un paragraphe technique donne 5,414 bits pour 43 mots distincts et une note de 100 ; un paragraphe répétitif donne 3,384 bits pour 13 mots distincts et une note de 95,2.
• Dans leur diagnostic de septembre 2026, les auteurs constatent une saturation à 100 sur 84 % des sources de GEO-Bench. Les sous-mesures d’entropie et de densité d’information présentent une corrélation de Pearson de 0,94 sur ce corpus.
• Leur formule publiée en septembre 2026 donne à l’entropie une part directe et indirecte d’environ 0,417 dans les poids avant transformation. Ces mesures se recouvrent donc en partie.

Qu’est-ce que l’entropie de Shannon ?

L’entropie de Shannon mesure l’incertitude associée aux événements possibles d’une source. Dans A Mathematical Theory of Communication, publié en 1948, Shannon cherche une mesure compatible avec des exigences de continuité, de croissance du choix et de décomposition d’un choix en étapes.

Avec un logarithme en base 2, l’unité est le bit. La formule peut se lire ainsi : pour chaque symbole, multiplier sa probabilité par le logarithme de cette probabilité, additionner les résultats, puis prendre l’opposé. Une constante positive fixe l’unité dans la formulation générale. À nombre de symboles fixé, l’entropie atteint son maximum lorsque leurs probabilités sont égales.

Shannon travaille notamment sur des lettres et des symboles. Son estimation d’environ 50 % de redondance de l’anglais ordinaire concerne les dépendances jusqu’à environ huit lettres. Elle porte sur la structure statistique de la langue. Le score Citead décrit ci-dessous applique le calcul à des mots filtrés : l’unité observée change.

Comment l’entropie s’applique-t-elle à un texte ?

Le calcul commence par la fréquence des mots retenus. Selon l’annexe technique de Bajemon et Rochet, septembre 2026, chaque fréquence fournit une probabilité, utilisée pour calculer l’entropie en bits. Quand l’ajout de mots-clés répétés concentre la distribution, l’entropie chute.

La normalisation change ensuite la lecture du résultat. Le calcul divise l’entropie par le logarithme en base 2 du nombre de mots distincts retenus. Ce quotient mesure la régularité de leur répartition. Un petit vocabulaire peut donc produire un résultat élevé si ses mots apparaissent avec des fréquences proches.

Les exemples publiés rendent cette distinction visible. Le paragraphe technique atteint le plafond, mais le paragraphe marketing volontairement répétitif reste lui aussi proche du maximum.

Ces résultats proviennent du calculateur utilisé par les auteurs. Ils montrent pourquoi il faut distinguer l’entropie brute, exprimée en bits, de la note après normalisation et bonus.

Comment Citead calcule-t-il cette sous-mesure ?

La version décrite dans Scoring Without the Engine, septembre 2026, suit un traitement précis. Le texte passe en minuscules ; le découpage utilise uniquement les lettres ASCII et conserve les mots d’au moins 3 lettres. Une liste bilingue retire environ 180 mots outils, c’est-à-dire des mots grammaticaux courants.

Le calcul porte ensuite sur les fréquences des 100 mots distincts les plus fréquents au maximum. Il normalise l’entropie par le logarithme du nombre de mots distincts conservés, ajoute un petit bonus lié au vocabulaire, puis plafonne la note à 100. Pour les cas trop courts ou impossibles à calculer, la spécification prévoit des valeurs par défaut de 50 ou de 30, selon la condition rencontrée.

Le traitement des accents compte pour un lecteur francophone. Les auteurs précisent que les caractères accentués interrompent les mots dans ce découpage. Pour interpréter une note sur un texte français, il faut donc garder à l’esprit ce vocabulaire effectivement retenu par le calculateur.

La page de méthodologie Citead, sans date de publication, emploie le libellé « Densité informationnelle (entropie de Shannon) » dans le critère de richesse sémantique. Le papier distingue shannon_entropy et information_density. La seconde est une mesure composite qui réutilise la première, ce qui explique une partie de leur proximité.

Pourquoi l’entropie a-t-elle le premier poids du score ?

Son rôle dans la réponse au bourrage de mots-clés explique sa place dans la calibration. Dans le tableau des poids de Bajemon et Rochet, septembre 2026, shannon_entropy reçoit 0,246, devant les autres sous-mesures. Ces poids résultent d’une calibration par interventions sur les textes, assortie de contrôles de comportement.

Les auteurs décrivent l’entropie comme un composant principal de la détection du bourrage. Ils rapportent une baisse moyenne de 7,4 points de cette sous-mesure sous le contrôle négatif, après comparaison avec un ajout neutre de longueur équivalente. Ce résultat porte sur la sous-mesure brute dans leur protocole.

La densité d’information, pondérée séparément à 0,244, contient elle-même 0,70 d’entropie. La part directe et indirecte de cette dernière vaut donc environ 0,417 avant transformation. Les auteurs signalent explicitement ce recouvrement, cohérent avec la corrélation de Pearson de 0,94 observée sur GEO-Bench. Les onze poids ne décrivent pas onze dimensions indépendantes.

Pour suivre la sélection des poids, voir Calibrer un score par intervention : comment les poids du score ont été choisis.

Que signifie une saturation à 100 sur 84 % des sources ?

Elle signifie que cette sous-mesure distingue peu de niveaux parmi les textes du corpus initial. Dans l’annexe de diagnostic de Bajemon et Rochet, septembre 2026, 84 % des 500 sources non modifiées de GEO-Bench obtiennent exactement 100 en entropie. Le signal utile apparaît surtout dans la réponse aux modifications.

L’analyse du score complet décrit aussi une difficulté de classement lorsque les notes sont proches. Dans les 92 groupes où les cinq sources candidates prennent au plus trois valeurs de score différentes, les auteurs trouvent une corrélation de Spearman moyenne de 0,01 entre le score et la mesure de citation, calculée au sein de chaque groupe. Ils la décrivent comme indiscernable du hasard. Ce constat concerne les groupes étudiés, avec un effet des égalités au plafond.

Pour votre relecture, nous recommandons donc de comparer des versions du même texte en examinant les passages modifiés. Le score Citead ne prédit pas le choix des sources par un moteur. Cette limite est développée dans Pourquoi un score calculé sur le seul texte ne prédit pas le choix des sources par les moteurs.

Quel rapport le TTR et le MTLD ont-ils avec l’entropie ?

Le TTR et le MTLD sont des mesures de diversité lexicale. La documentation de quanteda, sans date de publication, définit le TTR comme le nombre de mots distincts divisé par le nombre total d’occurrences. Il décrit ainsi la variété du vocabulaire rapportée à la longueur du texte.

Dans leur publication de mai 2010, présentée par Northern Arizona University, McCarthy et Jarvis définissent le MTLD comme la longueur moyenne des séquences de mots qui maintiennent un niveau donné de diversité lexicale. La spécification Citead de septembre 2026 utilise sa forme bidirectionnelle avec un seuil de TTR de 0,72.

Dans cette spécification, la densité d’information combine l’entropie avec un poids interne de 0,70, la diversité lexicale avec 0,20 et la sophistication du vocabulaire avec 0,10. Le MTLD entre dans le bloc de diversité lexicale, qui associe plusieurs indices. Le TTR intervient notamment dans son seuil : ces sigles ne correspondent donc pas à des poids autonomes du score final.

La méthodologie Citead les regroupe sous le libellé « Diversité lexicale (TTR, MTLD) ». Pour lire une note, partez du nom de la sous-mesure puis de sa formule : le critère global rassemble plusieurs calculs.

Que faire de cette mesure en rédigeant ?

Nous recommandons de l’utiliser comme un point d’appui pour la relecture. Dans leur discussion des limites, publiée en septembre 2026, Bajemon et Rochet accordent davantage de portée aux réponses aux modifications qu’aux niveaux absolus. Nous proposons donc de :

• conserver une version du texte avant correction pour comparer les résultats ;
• relire les passages qui répètent les mêmes mots-clés et retirer les répétitions inutiles ;
• vérifier que la révision conserve les termes précis et les informations utiles au lecteur.

Nous déconseillons de remplacer systématiquement les termes métier par des synonymes pour déplacer une note. Dans notre recommandation éditoriale, la clarté de l’explication guide la décision finale. Si une correction utile laisse la mesure au plafond, vous pouvez la conserver pour sa valeur de lecture.

Pour aller plus loin

• Calibrer un score par intervention : comment les poids du score ont été choisis.
• Sentence-BERT expliqué : mesurer la proximité de sens entre une question et un passage.
• Un attaquant peut-il gonfler un score de contenu ? Le test sur 500 sources modifiées.
• Détecter un contenu gonflé pour les moteurs : les méthodes anti-spam classiques devancent le score.