En bref. La tokenisation découpe le texte en jetons et les associe à des identifiants numériques à l’aide d’un vocabulaire et de règles correspondant au modèle.

Définition : La tokenisation (tokenization) découpe le texte en jetons (tokens), des unités telles que des mots, des fragments de mots ou des signes de ponctuation. Un tokeniseur (tokenizer) associe ces unités à des identifiants numériques dans un vocabulaire, son répertoire de jetons, pour qu’un modèle puisse les traiter.

Points clés

Au 17 octobre 2026, la documentation de Hugging Face sur les algorithmes de tokenisation décrit des méthodes fondées sur les sous-mots, dont l’encodage par paires d’octets (byte pair encoding), Unigram et WordPiece.
La documentation de Hugging Face sur la chaîne de tokenisation distingue la normalisation, la pré-tokenisation, le modèle de tokenisation et le post-traitement.
Le chapitre « Tokenizers » du cours de Hugging Face précise que les règles de tokenisation et le vocabulaire doivent correspondre à ceux utilisés lors du préentraînement du modèle.
Le guide « Quicktour » de Tokenizers donne accès aux chaînes de caractères des jetons avec Encoding.tokens et à leurs indices dans le vocabulaire avec Encoding.ids.

Comment le texte devient-il une entrée du modèle ?

La documentation de Hugging Face sur la chaîne de traitement décrit la normalisation comme un ensemble d’opérations sur la chaîne d’entrée, telles que le passage en minuscules ou la suppression des accents. La pré-tokenisation divise cette chaîne en segments plus petits. Son exemple Whitespace découpe le texte au niveau des espaces et de la ponctuation, en isolant l’apostrophe dans une forme contractée.

Le modèle de tokenisation applique ensuite des règles apprises pour découper ces segments en jetons et les associer à des identifiants du vocabulaire. Ici, « modèle » désigne le composant entraîné du tokeniseur. Le post-traitement peut ajouter des jetons spéciaux, comme [CLS] et [SEP], autour d’une phrase. Le décodage reconvertit les identifiants du vocabulaire en texte, à l’aide d’un décodeur qui gère la manière dont les sous-mots s’assemblent.

Pourquoi un mot peut-il contenir plusieurs jetons ?

Un sous-mot est un fragment de mot représenté dans le vocabulaire d’un tokeniseur. Le guide des algorithmes de Hugging Face explique que les mots courants peuvent rester entiers, tandis que les mots rares se décomposent en fragments connus. Dans son exemple, annoyingly peut devenir annoying plus ly, ou annoy plus ing plus ly, selon le vocabulaire.

L’encodage par paires d’octets, abrégé BPE, apprend des fusions en combinant de manière répétée la paire adjacente la plus fréquente. Unigram part d’un ensemble de sous-mots candidats et retire ceux dont la suppression augmente le moins la perte d’entraînement. Ces vocabulaires appris expliquent en partie pourquoi le nombre de mots diffère du nombre de jetons.

Comment examiner le texte d’un site web ?

L’exemple du cours de Hugging Face montre les jetons et les identifiants intermédiaires pour bert-base-cased :

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
sequence = "Using a Transformer network is simple"
tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)

# tokens: ['Using', 'a', 'transform', '##er', 'network', 'is', 'simple']
# ids: [7993, 170, 11303, 1200, 2443, 1110, 3014]

Il s’agit de l’exemple documenté dans le cours ; examiner un passage d’un site web nécessite son texte et le tokeniseur du modèle visé. Le cours montre aussi qu’un appel direct au tokeniseur réalise l’ensemble de l’opération d’encodage.

Pour retrouver le texte d’origine d’un jeton, le guide « Quicktour » décrit Encoding.offsets, qui contient les positions délimitant les segments de caractères associés aux jetons. Il montre aussi comment le post-traitement ajoute des jetons spéciaux et comment le remplissage (padding) ajoute des jetons [PAD] pour aligner les longueurs des phrases dans un lot. Ces ajouts comptent dans l’interprétation de la longueur d’une séquence encodée.

Termes associés

Questions fréquentes

Puis-je utiliser n’importe quel tokeniseur pour compter les jetons d’une page ?

Pour un décompte propre à un modèle, utilisez le tokeniseur de ce modèle. Le cours de Hugging Face exige les règles et le vocabulaire utilisés lors du préentraînement ; l’exemple ci-dessus correspond donc à un tokeniseur particulier.

Comment voir d’où vient un jeton ?

Si vous utilisez Hugging Face Tokenizers, examinez l’attribut offsets de l’encodage. Le guide « Quicktour » montre comment ces délimitations identifient la portion correspondante de la phrase d’origine.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Tokenisation