En bref. Une règle Disallow de robots.txt exclut de l’exploration les chemins correspondants, selon le groupe sélectionné et la règle Allow ou Disallow applicable la plus spécifique.

Définition : La directive Disallow de robots.txt est une instruction d’exploration qui exclut les chemins d’URL correspondants pour les robots visés par son groupe. Le protocole d’exclusion des robots (Robots Exclusion Protocol), spécifié dans la RFC 9309, définit comment les robots sélectionnent et comparent ces règles.

Points clés

La RFC 9309 impose de comparer les chemins depuis leur début et de retenir la règle correspondante qui comporte le plus d’octets.
Au 17 octobre 2026, la spécification de robots.txt de Google indique qu’une règle Disallow dont le chemin est vide est ignorée.
La présentation de robots.txt de Google explique que l’URL d’une page bloquée peut toujours apparaître dans les résultats de recherche si des liens pointent vers elle depuis d’autres pages.

Comment rédiger une règle Disallow ?

Un groupe associe des règles à des robots au moyen d’une ligne User-agent. La RFC 9309 impose de placer le fichier à l’adresse /robots.txt, à la racine du service, de l’encoder en UTF-8 et de le servir avec le type text/plain. Son exemple comprend ce groupe :

User-Agent: foobot
Disallow:/
Allow:/example/page.html
Allow:/example/allowed.gif

Ici, Disallow:/ exclut les chemins commençant par /. Les règles Allow autorisent les préfixes correspondants plus longs présentés dans l’exemple. La norme autorise aussi implicitement l’exploration de /robots.txt lui-même. Les espaces après les deux-points sont facultatifs. Ces exemples de chemins restent des préfixes : la présence d’un nom de fichier dans une règle ne rend pas automatiquement la correspondance exacte.

La même norme impose aux robots de combiner les groupes correspondant à leur jeton de produit (product token), le nom du robot utilisé pour sélectionner les règles. Un groupe User-agent: * s’applique lorsqu’aucun groupe spécifique ne correspond. Les règles placées avant la première ligne User-agent devraient être ignorées.

Comment les exclusions de chemins s’appliquent-elles aux URL ?

Les exemples de correspondance de Google montrent que /fish correspond à /fish, /fish.html et /fishheads. L’ajout d’une barre oblique finale modifie le préfixe : /fish/ correspond à /fish/salmon.htm, mais pas au chemin /fish seul. La comparaison de Google est sensible à la casse : /fish ne correspond donc pas non plus à /Fish.asp.

Un caractère générique, aussi appelé joker, représente d’autres caractères. * correspond à zéro ou plusieurs caractères ; $ impose que la correspondance se termine à la fin de l’URL. La même documentation montre que /*.php correspond à /folder/filename.php?parameters, tandis que /*.php$ ne correspond pas à cette URL, car la chaîne de requête suit le suffixe. Un joker final ne change rien à un préfixe ordinaire : /fish* équivaut à /fish.

La RFC 9309 recommande une comparaison des chemins sensible à la casse et donne la priorité à Allow lorsque des règles Allow et Disallow équivalentes entrent en conflit. Elle impose aussi de normaliser l’encodage avant la comparaison : les caractères ASCII non réservés encodés en pourcentage sont décodés, tandis que les caractères réservés conservent leur encodage. Dans son exemple, /foo/bar/%62%61%7A est comparé sous la forme /foo/bar/baz.

Que contrôle l’exclusion ?

La présentation de robots.txt de Google indique que la gestion du trafic d’exploration est la fonction principale du fichier. Bloquer des scripts ou des feuilles de style peut aussi affecter la compréhension, par Google, des pages qui dépendent de ces ressources.

Pour une page web vers laquelle pointent des liens depuis d’autres pages, Google peut indexer l’URL sans récupérer son contenu. La documentation recommande une exclusion de l’indexation telle que noindex, ou une protection par mot de passe, lorsque l’objectif est d’empêcher une page d’apparaître dans les résultats de recherche. Les informations privées nécessitent des contrôles d’accès : les instructions de robots.txt reposent sur la coopération des robots.

Termes associés

Questions fréquentes

Une directive Disallow vide bloque-t-elle tout le site ?

Non. La spécification de Google indique que les robots ignorent une règle sans chemin. Disallow: / fournit un chemin qui correspond à la racine et aux URL des niveaux inférieurs, sous réserve des règles Allow applicables.

Une règle Allow plus longue peut-elle prendre le pas sur Disallow ?

Oui. Selon la RFC 9309, la règle correspondante la plus spécifique s’applique. Son exemple foobot autorise /example/page.html malgré Disallow:/.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Directive Disallow de robots.txt