En bref. Googlebot ignore Crawl-delay ; les champs robots.txt pris en charge par Google sont user-agent, allow, disallow et sitemap.

Définition : Googlebot ne prend pas en charge Crawl-delay dans robots.txt, le fichier qui indique aux robots d’exploration (crawlers) les URL auxquelles ils peuvent accéder. Au 17 octobre 2026, la spécification de Google répertorie user-agent, allow, disallow et sitemap comme champs pris en charge et exclut explicitement crawl-delay.

Points clés

La spécification robots.txt de Google répertorie quatre champs pris en charge ; ajouter Crawl-delay ne fournit aucun réglage de délai reconnu par Googlebot.
L’introduction au fichier robots.txt de Google explique que l’URL d’une page dont l’exploration est interdite peut tout de même apparaître dans Google Search si d’autres pages pointent vers elle.
Les consignes de Google sur la fréquence d’exploration recommandent de consulter les journaux d’accès récents du serveur et de contacter l’hébergeur lorsque l’exploration augmente fortement.

Quels champs robots.txt Google prend-il en charge ?

La section consacrée à la syntaxe dans la spécification de Google attribue un rôle distinct à chaque champ pris en charge :

Champ	Signification
`user-agent`	Identifie le robot auquel les règles s’appliquent.
`allow`	Indique un chemin d’URL dont l’exploration est autorisée.
`disallow`	Indique un chemin d’URL dont l’exploration est interdite.
`sitemap`	Fournit l’URL complète d’un sitemap.

Les noms des champs sont insensibles à la casse. Les valeurs de allow et de disallow sont des chemins sensibles à la casse, et les règles sans chemin sont ignorées. Une valeur sitemap comprend le protocole et le nom d’hôte. Le champ sitemap s’applique indépendamment des groupes de robots définis dans le fichier.

Comment fonctionne une configuration prise en charge ?

La spécification de Google présente cette configuration, reproduite ici sans ses commentaires :

User-agent: *
Disallow: /includes/

User-agent: Googlebot
Allow: /includes/

Sitemap: https://example.com/sitemap.xml

L’astérisque identifie le groupe général des robots. Googlebot suit son groupe spécifique, qui autorise l’exploration de /includes/. Google sélectionne le groupe dont le user-agent correspond le plus précisément au robot ; un groupe spécifique et le groupe général * ne sont pas combinés. La ligne sitemap fournit l’emplacement d’un sitemap indépendamment de cette sélection de groupe.

Lorsque des règles de chemin se contredisent au sein du groupe applicable, Google retient le chemin correspondant le plus long. Si des règles de même précision se contredisent, il applique la moins restrictive. Ces réglages déterminent l’accès aux chemins ; aucun ne définit un intervalle entre les requêtes.

Comment un site peut-il réduire le trafic d’exploration de Google ?

Les consignes de Google sur la fréquence d’exploration citent la navigation à facettes, c’est-à-dire les variantes d’URL liées aux filtres ou au tri, comme une cause possible d’exploration excessive. Elles recommandent d’examiner les journaux d’accès pour identifier l’origine du trafic.

Pour une urgence de quelques heures ou d’un à deux jours, ces consignes prévoient de renvoyer des réponses HTTP 500, 503 ou 429 aux requêtes d’exploration. Un nombre important de ces réponses réduit l’exploration sur l’ensemble du nom d’hôte, y compris pour les URL qui renvoient toujours du contenu. L’exploration augmente de nouveau à mesure que les erreurs diminuent.

Cette mesure d’urgence a des conséquences : les pages existantes sont actualisées moins fréquemment dans Google Search, et les URL qui renvoient ces erreurs pendant plusieurs jours peuvent être retirées de l’index. Elle nécessite une modification temporaire des réponses du serveur ; ajouter Crawl-delay n’offre aucun contrôle de ce type.

Termes associés

Questions fréquentes

Écrire crawl-delay en minuscules change-t-il quelque chose ?

Non. La spécification de Google considère les noms des champs comme insensibles à la casse et mentionne explicitement crawl-delay parmi les champs non pris en charge. Changer la casse n’ajoute aucun réglage de délai.

Puis-je utiliser Disallow pour empêcher une page d’apparaître dans Google Search ?

L’introduction au fichier robots.txt de Google explique qu’une URL dont l’exploration est interdite peut tout de même apparaître si des liens pointent vers elle ailleurs sur le Web. Si vous devez empêcher une page d’apparaître dans Google Search, cette introduction préconise une protection par mot de passe ou une directive de contrôle de l’indexation telle que noindex.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Googlebot prend-il en charge Crawl-delay ?