En bref. Dans les motifs de chemin de robots.txt, * correspond à zéro ou plusieurs caractères et $ impose que la correspondance atteigne la fin de l’URL.

Définition : Selon la RFC 9309, la correspondance avec les caractères génériques (wildcards) dans robots.txt consiste à comparer les motifs de chemin des règles Allow et Disallow aux URL demandées. L’astérisque (*) correspond à zéro ou plusieurs caractères, et le signe dollar ($) ancre la correspondance à la fin de l’URL.

Points clés

La RFC 9309 impose aux robots d’exploration de prendre en charge * et $ dans les motifs de chemin et de commencer la comparaison au premier octet du chemin.
Au 17 octobre 2026, la spécification robots.txt de Google considère /fish* et /fish comme équivalents : un caractère générique final n’ajoute aucune restriction.
Le guide de création du fichier de Google précise que les règles sont sensibles à la casse : Disallow: /file.asp s’applique à /file.asp, tandis que /FILE.asp ne correspond pas à cette règle.

Comment le caractère générique correspond-il à un chemin ?

Les règles relatives aux caractères spéciaux de la RFC 9309 permettent à * de correspondre à toute séquence de caractères, y compris une séquence vide. L’exemple simple du document inclut explicitement la barre oblique parmi les caractères auxquels le caractère générique peut correspondre. Un caractère générique peut donc couvrir plusieurs niveaux de répertoires.

La comparaison commence au début du chemin de l’URL. Sans ancre de fin, il suffit d’atteindre la fin du motif de la règle pour obtenir une correspondance, même si l’URL demandée se poursuit. Les exemples de chemins de Google montrent que /fish correspond à /fishheads et à /fish/salmon.html. L’ajout d’une barre oblique modifie le préfixe littéral : /fish/ correspond à /fish/salmon.htm, tandis que /fish lui-même ne correspond pas à ce motif.

Que change l’ancre de fin ?

Le tableau de correspondance de Google distingue les deux règles suivantes, présentées comme des alternatives :

Disallow: /*.php
Disallow: /*.php$

Le motif sans ancre correspond à /folder/filename.php?parameters et à /folder/any.php.file.html. Le motif avec ancre correspond à /filename.php et à /folder/filename.php, mais exclut /filename.php?parameters et /filename.php/ de ses correspondances. La chaîne de requête, c’est-à-dire la partie introduite par ?, compte donc lors de la vérification d’une règle avec ancre de fin.

Ces motifs s’appliquent au texte de l’URL. Le même tableau exclut / des correspondances de /*.php, même lorsque le serveur associe cette URL racine à un fichier index.php. Le nom de fichier utilisé en interne par le serveur ne détermine pas la correspondance.

Quelle règle l’emporte lorsque les motifs se chevauchent ?

Les règles de correspondance de la RFC 9309 imposent de retenir la correspondance la plus spécifique, mesurée en octets. Lorsqu’une règle Allow et une règle Disallow sont équivalentes, la norme recommande d’utiliser Allow. Une URL qui ne correspond à aucune règle est autorisée au sein du groupe applicable au robot.

Les exemples de priorité de Google comprennent :

Allow: /$
Disallow: /

Pour l’URL racine, Google retient Allow: /$, qui est plus spécifique. Pour /page.htm, seule la règle Disallow s’applique. Ces lignes créent une exception pour la racine dans un site dont le reste est interdit à l’exploration.

Termes associés

Questions fréquentes

Comment faire correspondre un astérisque ou un signe dollar littéral ?

Les exemples d’encodage de la RFC 9309 utilisent /path/file-with-a-%2A.html pour correspondre à un nom de fichier contenant un * littéral. Le motif /path/foo-%24 correspond à un chemin qui se termine par un $ littéral.

Comment vérifier un fichier robots.txt avant de s’appuyer sur ses motifs ?

Les instructions de test de Google décrivent comment compiler sa bibliothèque robots.txt open source pour tester des fichiers en local. Pour un fichier déployé, vous pouvez aussi utiliser le rapport robots.txt de la Search Console pour repérer les problèmes de syntaxe.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Correspondance avec les caractères génériques dans robots.txt