En bref. La règle robots.txt correspondante la plus longue l’emporte, avec une préférence pour Allow lorsque les règles Allow et Disallow sont équivalentes.
Définition : Dans robots.txt, un fichier de règles d’exploration, la règle correspondante la plus longue détermine si un robot d’exploration (crawler) peut accéder à une URL. La RFC 9309 impose de retenir la correspondance la plus spécifique, mesurée en octets (bytes), et recommande Allow lorsqu’une règle Allow et une règle Disallow sont équivalentes.
Points clés
- La section 2.2.2 de la RFC 9309 impose de commencer la comparaison au début du chemin de l’URL et de retenir la correspondance comportant le plus d’octets.
- Au 17 octobre 2026, la spécification robots.txt de Google utilise la longueur du chemin, puis Allow pour départager les règles de même longueur, y compris celles contenant des caractères génériques (wildcards).
- Le guide de rédaction d’un fichier robots.txt de Google précise que les règles sont sensibles à la casse :
/file.aspet/FILE.aspsont différents.
Que prescrit la RFC 9309 ?
La RFC 9309, publiée en septembre 2022, décrit la comparaison avec les règles du groupe applicable à l’agent utilisateur (user-agent). Un groupe est un ensemble de règles introduit par une ligne User-agent qui identifie le robot. Les groupes correspondants sont fusionnés avant l’évaluation de leurs règles de chemin.
La section 2.2.2 impose de retenir le chemin correspondant le plus spécifique. Une règle Allow plus courte peut donc céder la priorité à une règle Disallow plus longue, et une règle Allow plus longue peut prévaloir sur une règle Disallow de portée plus large. Déplacer une règle de chemin vers le début ou la fin du groupe applicable ne change pas cette comparaison.
La norme emploie MUST pour imposer la sélection de la correspondance la plus longue et SHOULD pour recommander Allow lorsque les règles opposées sont équivalentes. Si aucune des règles applicables ne correspond à une URL, l’accès est autorisé.
Comment Google résout-il les conflits concrets ?
Les exemples de la spécification de Google présentent ces règles pour https://example.com/page :
allow: /p
disallow: /
Le chemin de la règle Allow est plus long : Google autorise donc l’exploration. La même documentation donne cette paire de règles pour https://example.com/folder/page :
allow: /folder
disallow: /folder
Les deux chemins offrent une correspondance de même longueur. Google choisit Allow, la règle la moins restrictive.
Un caractère générique est un caractère utilisé dans un motif de correspondance : * correspond à toute suite de caractères, y compris une suite vide. L’exemple de Google pour https://example.com/page.htm utilise :
allow: /page
disallow: /*.htm
Google choisit Disallow, car le chemin de la règle correspondante est plus long. Son exemple pour https://example.com/page.php5 associe quant à lui allow: /page à disallow: /*.ph ; Google choisit Allow pour départager ces règles de même longueur. Le texte auquel correspond * après expansion ne confère pas, à lui seul, la priorité à cette règle.
Comment vérifier le résultat pour un site web ?
Le guide de rédaction d’un fichier robots.txt de Google décrit les groupes introduits par User-agent et la fusion des groupes visant le même agent utilisateur. La vérification d’un conflit commence par les règles applicables au robot visé. Les longueurs des chemins de groupes non concernés n’entrent pas en concurrence.
Le guide décrit également l’ouverture du fichier /robots.txt du site dans une fenêtre de navigation privée pour confirmer que le fichier mis en ligne est accessible au public. Pour les tests en local, il renvoie à la bibliothèque robots.txt open source de Google, également utilisée dans Google Search. Tester le fichier complet avec l’URL exacte permet de conserver le contexte pertinent pour la sélection du groupe et la correspondance des chemins.
Termes associés
- robots.txt
- Directive Allow de robots.txt
- Directive Disallow de robots.txt
- Correspondance avec les caractères génériques dans robots.txt
- Priorité des groupes robots.txt
Questions fréquentes
La dernière ligne correspondante l’emporte-t-elle ?
Non. La RFC 9309 sélectionne la correspondance la plus spécifique selon sa longueur en octets. Modifier l’ordre des règles Allow et Disallow au sein du même groupe applicable ne change pas ce principe.
Allow l’emporte-t-il toujours ?
Non. La spécification de Google montre que Disallow l’emporte pour /page.htm lorsque /*.htm est en concurrence avec /page. Allow départage les chemins équivalents dans l’exemple /folder.
Sources
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
- Google, « How Google interprets the robots.txt specification », mis à jour le 31 août 2026
- Google, « How to write and submit a robots.txt file », mis à jour le 21 novembre 2025
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO