En bref. Chaque sous-domaine doit disposer de sa propre URL robots.txt lorsque des restrictions d’exploration sont nécessaires, les règles étant limitées à l’hôte, au protocole et au port.

Définition : Au 17 octobre 2026, Google décrit robots.txt comme un fichier de règles d’accès pour les robots d’exploration (crawlers), dont la portée se limite à son hôte, à son protocole et à son port. Chaque sous-domaine doit disposer de sa propre URL robots.txt lorsque des restrictions d’exploration sont nécessaires.

Points clés

La spécification robots.txt de Google limite la portée du fichier d’un sous-domaine à ce sous-domaine : www.example.com et example.com ont des portées distinctes.
Le guide de création du fichier de Google indique que l’exploration des fichiers est implicitement autorisée, sauf si des règles en disposent autrement.
Le protocole d’exclusion des robots (Robots Exclusion Protocol) de l’IETF autorise les redirections entre hôtes tout en conservant la portée de l’hôte initial lorsque le fichier est atteint en cinq redirections consécutives au maximum.

Où placer chaque fichier robots.txt ?

L’hôte correspond au nom d’hôte dans une URL, par exemple www.example.com. La documentation de Google sur l’emplacement et la validité du fichier place robots.txt dans le répertoire racine de l’hôte. Pour les hôtes suivants, les fichiers se trouvent à ces adresses :

https://example.com/robots.txt
https://www.example.com/robots.txt

Le fichier à la première URL régit les chemins sous https://example.com/. Celui à la seconde régit les chemins sous https://www.example.com/. La même documentation exclut les sous-domaines imbriqués, comme shop.www.example.com, de la portée du fichier de www.example.com.

Un sous-répertoire est un chemin situé sous l’hôte, comme /folder/. Ses pages relèvent du fichier robots.txt de l’hôte. Un fichier placé à l’adresse https://example.com/folder/robots.txt se trouve en dehors de l’emplacement consulté par les robots.

Le protocole et le port comptent également. HTTP et HTTPS ont des portées distinctes. Google considère que le port HTTPS standard 443, indiqué explicitement, équivaut à l’URL HTTPS par défaut, tandis qu’un port non standard comme 8181 a sa propre portée.

Comment les règles s’appliquent-elles à un sous-domaine ?

Une ligne User-agent désigne le robot auquel s’adresse un groupe de règles. Une ligne Disallow précise un chemin que ce robot doit éviter. Le guide de création de Google donne le groupe de règles suivant pour bloquer Googlebot :

User-agent: Googlebot
Disallow: /

Lorsque ce groupe est servi à l’adresse https://www.example.com/robots.txt, il empêche Googlebot d’explorer les chemins de cet hôte en HTTPS. Pour appliquer cette restriction à https://example.com/, des règles doivent également être accessibles à son URL robots.txt. Une instruction dans le fichier du domaine parent ne se transmet pas au sous-domaine par héritage.

Le même guide exige un fichier en texte brut encodé en UTF-8. Les modalités d’hébergement peuvent influer sur sa modification : un hébergeur peut proposer des paramètres de recherche à la place d’un accès direct au fichier.

Comment vérifier les fichiers ?

Les instructions de test de Google recommandent d’ouvrir l’URL robots.txt dans une fenêtre de navigation privée pour vérifier qu’elle est accessible au public. Cette vérification est à répéter pour chaque hôte et chaque protocole nécessitant des règles, avec l’URL complète de chaque fichier.

Les mêmes instructions présentent le rapport robots.txt de la Search Console comme un moyen de vérifier les problèmes de syntaxe des fichiers déjà accessibles sur le site. Un fichier visible est accessible ; son contenu doit également exprimer les règles voulues pour les robots et les chemins concernés.

Termes associés

Questions fréquentes

www compte-t-il comme un sous-domaine distinct ?

Oui. Les exemples de validité de Google distinguent explicitement https://www.example.com/ et https://example.com/.

Puis-je utiliser une redirection pour partager un fichier de règles ?

La spécification du protocole de l’IETF autorise les redirections entre hôtes. Lorsqu’un fichier est atteint en cinq redirections consécutives au maximum, ses règles s’appliquent dans le contexte de l’hôte initial dont le fichier robots.txt a été demandé.

Le blocage d’un sous-domaine préserve-t-il la confidentialité de son contenu ?

Pour les contenus privés, utilisez un contrôle d’accès tel que l’authentification HTTP. Les considérations de sécurité du même protocole expliquent que les règles robots.txt sont accessibles au public et présentent l’authentification comme une mesure de sécurité appropriée.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Les sous-domaines ont-ils besoin de fichiers robots.txt distincts ?