Où faut-il héberger un fichier robots.txt ?

Définition : Un fichier robots.txt contient des règles d’accès destinées aux robots d’exploration et doit être accessible au chemin /robots.txt, en minuscules, à la racine d’un site web. Sa portée correspond à l’origine du site : la combinaison du protocole, du nom d’hôte et du port.

Points clés

• La section 2.3 de la RFC 9309 impose le chemin /robots.txt à la racine ainsi qu’un fichier texte encodé en UTF-8, un encodage de caractères, servi avec le type de média text/plain.
• Au 17 octobre 2026, la spécification robots.txt de Google indique que les règles s’appliquent uniquement au protocole, à l’hôte et au port du fichier, ainsi qu’à tous les sous-répertoires correspondants.
• Le guide de création de Google recommande d’ouvrir le fichier dans une fenêtre de navigation privée pour vérifier son accessibilité publique avant de tester ses règles.

Que signifie un emplacement à la racine ?

La racine est le premier niveau du chemin de l’URL, immédiatement après le nom d’hôte et le port éventuel. Le guide de création de Google donne cet emplacement pour un site hébergé à l’adresse https://www.example.com/ :

https://www.example.com/robots.txt

Le même guide exclut de placer le fichier dans un sous-répertoire, par exemple à l’adresse https://example.com/pages/robots.txt. Même lorsqu’un site est installé dans un dossier, ses règles d’exploration doivent se trouver à la racine de l’hôte. Cette exigence concerne l’URL accessible publiquement ; le guide invite les propriétaires de sites qui ont besoin d’aide pour accéder à la racine à contacter leur hébergeur.

À quel site les règles de ce fichier s’appliquent-elles ?

Les exemples de portée de Google montrent que https://example.com/robots.txt couvre à la fois https://example.com/ et https://example.com/folder/file. Il ne couvre ni https://other.example.com/, ni http://example.com/, ni https://example.com:8181/.

La même documentation considère qu’un port par défaut indiqué explicitement équivaut à l’absence de ce port dans l’URL : https://example.com:443/ a la même portée que https://example.com/. Un port non standard, tel que 8181, a sa propre portée. En pratique, la vérification commence par l’origine exacte qui sert les pages dont l’exploration est à configurer.

L’URL à la racine peut-elle rediriger ailleurs ?

La section 2.3.1.2 de la RFC 9309 recommande aux robots d’exploration de suivre au moins cinq redirections consécutives, y compris entre hôtes différents. Si le fichier est atteint dans cette chaîne, la norme impose d’appliquer ses règles dans le contexte de l’autorité initiale, c’est-à-dire de l’hôte demandé à l’origine.

Une redirection peut donc mener à un fichier stocké ailleurs tout en conservant l’emplacement /robots.txt de la requête initiale. Les règles gardent la portée de cette requête initiale.

Comment vérifier l’emplacement ?

Les instructions de test de Google commencent par l’ouverture de l’URL exacte du fichier robots.txt dans une fenêtre de navigation privée, puis par la vérification de l’affichage de son contenu. Cette méthode vérifie l’accès public sans dépendre d’une session de navigateur déjà connectée à un compte.

Le même guide indique que le rapport robots.txt de la Search Console permet de vérifier les fichiers déjà accessibles sur le site. La vérification de l’URL et celle des règles sont deux étapes distinctes : un fichier peut être accessible publiquement alors que ses règles nécessitent encore des corrections.

Termes associés

• robots.txt
• Les sous-domaines ont-ils besoin de fichiers robots.txt distincts ?
• Les règles robots.txt s’appliquent-elles à plusieurs protocoles et ports ?
• Redirections HTTP

Questions fréquentes

Pouvez-vous placer un fichier robots.txt distinct dans chaque dossier ?

Non. La spécification de Google indique que les robots d’exploration ne cherchent pas de fichiers robots.txt dans les sous-répertoires. Les restrictions par dossier doivent figurer dans les règles du fichier situé à la racine.

Devez-vous envoyer le fichier à Google ?

Le guide de création de Google indique que ses robots d’exploration trouvent et utilisent automatiquement le fichier après sa mise en ligne et ses tests. Aucun envoi distinct n’est nécessaire.

Sources

1. IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
2. Google, « How Google interprets the robots.txt specification », mis à jour le 31 août 2026
3. Google, « How to write and submit a robots.txt file », mis à jour le 21 novembre 2025

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO