En bref. robots.txt publie les règles d’accès des robots d’exploration au moyen de lignes User-agent, Allow et Disallow, dans un fichier placé à la racine du site web.

Définition : robots.txt est un fichier texte qui publie les règles d’accès aux chemins d’URL d’un site web pour les clients automatisés, appelés robots d’exploration (crawlers). Il utilise le protocole d’exclusion des robots (Robots Exclusion Protocol), défini dans la RFC 9309.

Points clés

La spécification du protocole impose un fichier /robots.txt nommé en minuscules, placé à la racine du service, encodé en UTF-8 et servi avec le type text/plain.
Une ligne User-agent identifie le robot auquel s’adresse un groupe de règles ; Allow et Disallow précisent les chemins autorisés et interdits, selon la RFC 9309.
Au 17 octobre 2026, les consignes de Google indiquent que l’URL d’une page web dont l’exploration est bloquée peut encore apparaître dans les résultats de recherche si d’autres pages pointent vers elle.
Les recommandations de sécurité du protocole préconisent des mesures telles que l’authentification HTTP pour protéger l’accès au contenu ; les chemins répertoriés dans robots.txt sont publics.

Comment fonctionnent les règles ?

Un groupe contient des noms de robots suivis de règles d’accès. Dans la RFC 9309, la valeur * sur une ligne User-agent définit le groupe par défaut lorsqu’aucun groupe propre au robot ne correspond. La correspondance des chemins repose sur la règle correspondante la plus précise, mesurée par sa longueur en octets. Pour des règles Allow et Disallow équivalentes, la spécification recommande d’utiliser Allow.

Cet extrait reprend l’exemple de la spécification pour le robot fictif foobot :

User-Agent: foobot
Disallow:/
Allow:/example/page.html
Allow:/example/allowed.gif

L’exemple limite l’accès du robot aux chemins d’URL commençant par /example/page.html ou /example/allowed.gif. Il s’agit de préfixes de chemin : une règle sans marqueur de fin de correspondance peut aussi correspondre à un chemin plus long. La même spécification définit $ comme marqueur de fin de correspondance.

Quel est l’effet de robots.txt sur la recherche par IA ?

Au 17 octobre 2026, la documentation d’OpenAI sur ses robots présente OAI-SearchBot comme son robot de recherche et GPTBot comme un robot qui explore des contenus susceptibles de servir à l’entraînement des modèles. Les réglages sont indépendants : un site peut autoriser l’exploration pour la recherche tout en interdisant GPTBot.

OpenAI indique que les sites qui refusent l’accès à OAI-SearchBot sont exclus des réponses de ChatGPT search, tout en pouvant encore apparaître sous forme de liens de navigation. Sa documentation décrit séparément les requêtes de ChatGPT-User comme des actions déclenchées par l’utilisateur, auxquelles les règles de robots.txt peuvent ne pas s’appliquer. Le choix d’un nom de robot nécessite donc de vérifier quelle activité ce nom contrôle.

Bloquer l’exploration supprime-t-il une page des résultats de recherche ?

L’introduction à robots.txt de Google explique que les liens provenant d’autres pages peuvent permettre à Google d’indexer une URL bloquée sans consulter son contenu. Le résultat de recherche peut apparaître sans description.

Pour exclure un contenu de Google Search, le guide renvoie à noindex, une instruction qui exclut le contenu de l’indexation, ou à une protection par mot de passe. Pour les contenus privés, l’authentification contrôle l’accès au niveau du serveur. La spécification du protocole précise explicitement que les règles de robots.txt ne constituent pas une autorisation d’accès.

Comment vérifier le fichier ?

Le guide de création de fichier de Google recommande d’ouvrir le fichier publié dans une fenêtre de navigation privée pour confirmer qu’il est accessible au public. Il mentionne également le rapport robots.txt dans Search Console pour les fichiers déjà accessibles sur un site, ainsi que la bibliothèque open source robots.txt de Google pour les tests en local.

Le même guide limite la portée d’un fichier à son protocole, son hôte et son port. Un fichier placé à l’adresse https://example.com/robots.txt s’applique à cet hôte en HTTPS ; les autres sous-domaines et les adresses HTTP nécessitent leurs propres règles applicables.

Termes associés

Questions fréquentes

Pouvez-vous protéger des fichiers confidentiels avec robots.txt ?

Utilisez l’authentification pour les fichiers confidentiels. La RFC 9309 explique que l’inscription de chemins dans robots.txt les expose publiquement et recommande des mesures de sécurité au niveau de la couche applicative.

Devez-vous envoyer un nouveau fichier robots.txt à Google ?

Après la mise en ligne et le test du fichier, les robots de Google le trouvent et l’utilisent automatiquement, selon le guide de création. Le guide renvoie également aux instructions permettant d’actualiser la copie mise en cache par Google après une modification.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO