En bref. Google peut indexer une URL bloquée par robots.txt à partir de liens d’autres pages ; exclure une page avec noindex nécessite que le robot puisse accéder à l’instruction.

Définition : Une règle Disallow dans robots.txt, le fichier d’instructions d’un site destiné aux robots d’exploration, leur indique de ne pas récupérer les URL correspondantes. En octobre 2026, l’introduction à robots.txt de Google explique que Google peut tout de même indexer l’URL d’une page web bloquée à partir de liens provenant d’autres pages.

Points clés

L’introduction à robots.txt de Google indique que l’URL d’une page web bloquée peut apparaître dans les résultats de recherche sans description.
La documentation sur noindex de Google précise que le robot doit pouvoir accéder à la page pour lire une règle d’exclusion noindex dans son balisage ou dans un en-tête de réponse.
La documentation sur l’inspection d’URL de Google distingue les champs « Exploration autorisée ? » (« Crawl allowed? ») et « Indexation autorisée ? » (« Indexing allowed? ») dans le rapport sur l’état d’une page.

Pourquoi une URL bloquée peut-elle encore apparaître ?

L’exploration (crawl) consiste à récupérer une page. L’introduction à robots.txt de Google explique que les liens provenant d’autres sites peuvent fournir suffisamment d’informations à Google pour indexer une URL interdite à l’exploration sans la consulter. Des informations publiques, notamment le texte d’ancrage, c’est-à-dire le texte cliquable de ces liens, peuvent apparaître à côté de l’URL.

Il s’agit d’une indexation de l’URL seule : l’adresse peut apparaître dans les résultats de recherche alors que robots.txt bloque l’accès au contenu de la page. La documentation de Google précise que le résultat de recherche correspondant ne comporte pas de description. Une restriction d’exploration laisse donc la possibilité à une URL vers laquelle pointe un lien d’apparaître dans la recherche Google.

À quoi ressemble une règle Disallow ?

Le guide de création d’un fichier robots.txt de Google contient ce groupe de règles :

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent identifie le robot auquel s’adresse le groupe. Ici, Googlebot reçoit l’instruction de ne pas accéder aux URL dont le chemin commence par /nogooglebot/. La règle contrôle la récupération de ces URL.

Le même guide place le fichier à la racine du site, par exemple à l’adresse https://www.example.com/robots.txt. Par défaut, l’exploration des fichiers est autorisée, sauf si une règle la restreint. Le choix d’un chemin pour Disallow porte donc sur l’accès des robots d’exploration.

Comment exclure une page de l’index de Google ?

noindex est une instruction qui exclut un contenu de l’indexation par les moteurs de recherche. Le guide de mise en œuvre de Google fournit cette balise à placer dans la section <head> d’une page HTML :

<meta name="robots" content="noindex">

Une autre possibilité consiste à utiliser un en-tête de réponse HTTP, qui fonctionne aussi pour les ressources autres que HTML, comme les PDF :

X-Robots-Tag: noindex

Google doit pouvoir récupérer la ressource et lire l’instruction. Pour une page bloquée, cela nécessite de supprimer la restriction dans robots.txt tout en laissant l’instruction noindex accessible. La même documentation indique que Google retire la page des résultats de recherche après l’avoir explorée et avoir lu la règle, même si d’autres sites pointent vers elle. Google ne prend pas en charge l’instruction noindex dans robots.txt.

Comment vérifier le résultat ?

L’outil d’inspection d’URL de Google fournit des informations sur la version indexée d’une URL et propose un test en direct de sa version actuelle. Dans les détails de l’indexation de la page, « Exploration autorisée ? » indique si robots.txt autorise l’accès, tandis que « Récupération de page » (« Page fetch ») indique si Google a effectivement récupéré la page.

La même page d’aide explique que « Indexation autorisée ? » affiche toujours « Oui » (« Yes ») pour une page bloquée par robots.txt, car Google ne peut pas lire ses instructions noindex. Ces champs doivent être lus ensemble. Le rapport sur la version indexée reflète la dernière version explorée ; après un changement de configuration, le test en direct vérifie les conditions d’accès actuelles.

Termes associés

Questions fréquentes

Disallow protège-t-il les informations privées ?

L’introduction à robots.txt de Google recommande de protéger les fichiers privés par un mot de passe, car les robots choisissent de respecter ou non robots.txt. Utilisez des contrôles d’accès lorsque vous devez limiter les personnes autorisées à lire le contenu.

Pourquoi ma page apparaît-elle encore après l’ajout de noindex ?

Les conseils de dépannage de noindex de Google indiquent que Google doit explorer la page après l’ajout de la règle. Si votre fichier robots.txt bloque l’URL, supprimez cette restriction pour que Google puisse lire l’instruction.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

La directive Disallow de robots.txt empêche-t-elle l’indexation d’une URL ?