En bref. La portée des règles robots.txt est propre à chaque origine : les ports par défaut équivalent aux ports omis, et les redirections conservent le contexte de la requête initiale.
Définition : Un fichier robots.txt fournit des règles d’exploration pour une seule origine, définie par la combinaison du protocole, du nom d’hôte et du port. HTTP et HTTPS ont des règles distinctes ; indiquer explicitement un port par défaut équivaut à omettre ce port.
Points clés
- En octobre 2026, la spécification robots.txt de Google limite la portée d’un fichier à son hôte, son protocole et son numéro de port.
- Le guide de création du fichier de Google situe robots.txt à la racine de l’hôte auquel il s’applique.
- La RFC 9309, section 2.3.1.2 autorise les redirections entre hôtes tout en conservant le contexte de l’autorité initiale, c’est-à-dire le serveur auquel la requête est initialement adressée.
Quels protocoles et ports partagent les mêmes règles ?
Les exemples de portée de Google distinguent les emplacements robots.txt suivants :
http://example.com/robots.txt
https://example.com/robots.txt
https://example.com:8181/robots.txt
Le fichier HTTPS sans indication de port s’applique à https://example.com/folder/file. La version HTTP et le contenu sur le port 8181 ont leurs propres emplacements robots.txt.
La même documentation considère que les ports par défaut, 80 pour HTTP et 443 pour HTTPS, équivalent aux adresses où ils sont omis. Ainsi, https://example.com:443/robots.txt couvre à la fois https://example.com:443/ et https://example.com/. Il ne couvre pas https://example.com:444/.
Les noms d’hôte comptent également : le fichier à l’adresse https://www.example.com/robots.txt s’applique à ce nom d’hôte, avec une portée distincte de celle de https://example.com/.
Une redirection peut-elle fournir le même fichier à une autre origine ?
La RFC 9309, section 2.3 définit l’emplacement de récupération comme scheme:[//authority]/robots.txt. Ses règles de redirection indiquent que les robots d’exploration devraient suivre au moins cinq redirections consécutives, y compris entre autorités.
Si un fichier robots.txt est atteint en cinq redirections au maximum, la norme impose d’appliquer ses règles dans le contexte de l’autorité initiale. Une récupération par redirection peut donc fournir des règles pour l’origine initialement demandée. L’emplacement d’hébergement du fichier de destination ne remplace pas ce contexte initial.
Cette distinction compte lorsque HTTP et HTTPS partagent un fichier robots.txt au moyen d’une redirection. La vérification commence à l’adresse /robots.txt de chaque origine et suit la réponse renvoyée.
Comment vérifier les fichiers déployés ?
Les consignes de test de Google recommandent d’ouvrir l’adresse du fichier robots.txt dans une fenêtre de navigation privée pour vérifier son accessibilité publique. Appliquer cette vérification à chaque protocole et à chaque port non standard découle de la règle de portée énoncée dans le guide.
Le guide impose le nom de fichier robots.txt à la racine. Une copie dans /pages/ ne peut pas servir de fichier robots.txt pour l’hôte. Il exige également un fichier texte encodé en UTF-8.
Après la vérification de l’accessibilité, le guide renvoie au rapport robots.txt de Search Console pour repérer les problèmes de syntaxe. Ce rapport nécessite un fichier déjà accessible sur le site.
Termes associés
- robots.txt
- Où faut-il héberger un fichier robots.txt ?
- Les sous-domaines ont-ils besoin de fichiers robots.txt distincts ?
- Redirections HTTP
Questions fréquentes
Un fichier robots.txt en HTTPS contrôle-t-il automatiquement HTTP ?
Non. La règle de portée de Google distingue les protocoles. Vérifiez la réponse à l’adresse /robots.txt de votre origine HTTP, y compris toute redirection qui fournit ses règles.
L’ajout de :443 crée-t-il des règles HTTPS distinctes ?
Non. Les exemples de Google considèrent que le port HTTPS 443 équivaut à l’adresse HTTPS par défaut. Un port non standard tel que 8181 a une portée distincte.
Chaque origine doit-elle stocker une copie physique distincte ?
La RFC 9309 autorise les redirections entre autorités. Vous pouvez fournir les règles par une requête robots.txt redirigée ; les règles obtenues s’appliquent dans le contexte de l’autorité initiale.
Sources
- Google, « How Google interprets the robots.txt specification », mis à jour le 31 août 2026
- Google, « Create and submit a robots.txt file », mis à jour le 21 novembre 2025
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO