En bref. Crawl-delay est une extension non standard de robots.txt dont la prise en charge et l’interprétation des délais dépendent de l’opérateur du robot.
Définition : Crawl-delay est une extension non standard de robots.txt, le fichier par lequel les sites web transmettent des instructions aux clients web automatisés appelés robots d’exploration (crawlers). Elle demande une limitation de l’activité d’exploration ; sa prise en charge et l’interprétation des délais dépendent de l’opérateur du robot.
Points clés
Les indications de prise en charge ci-dessous reflètent la documentation disponible le 17 octobre 2026.
- La documentation sur les robots d’Anthropic indique explicitement que cette extension non standard est prise en charge et fournit un exemple pour ClaudeBot.
- La norme du protocole d’exclusion des robots, RFC 9309, autorise les robots à interpréter des enregistrements supplémentaires au-delà des règles définies par le protocole.
- La spécification robots.txt de Google classe
crawl-delayparmi les champs non pris en charge. - L’explication du Webmaster Blog de Bing, publiée le 3 mai 2012, documente sa prise en charge et décrit une fenêtre temporelle durant laquelle une seule page au maximum est explorée.
Comment Anthropic documente-t-il Crawl-delay ?
Les consignes d’Anthropic sur les robots présentent l’exemple suivant pour limiter l’activité :
User-agent: ClaudeBot
Crawl-delay: 1
La ligne User-agent désigne ClaudeBot comme le robot auquel cet exemple s’adresse. Anthropic indique respecter Crawl-delay lorsque cela est approprié. L’article ne précise ni l’unité de la valeur, ni la plage acceptée, ni les modalités exactes de planification.
Les mêmes consignes fournissent un exemple distinct pour bloquer ClaudeBot sur l’ensemble d’un site :
User-agent: ClaudeBot
Disallow: /
Elles placent le fichier robots.txt dans le répertoire racine du site et demandent aux propriétaires d’appliquer le blocage séparément à chaque sous-domaine concerné. Les deux exemples expriment des instructions différentes : limiter l’activité d’exploration et interdire l’exploration de l’ensemble du site.
Pourquoi la prise en charge varie-t-elle selon les robots ?
Le protocole d’exclusion des robots définit User-agent, Allow et Disallow. Sa section 2.2.4 autorise les robots à interpréter d’autres enregistrements, à condition que leur analyse préserve celle des enregistrements standard. Crawl-delay dépend donc de la manière dont un opérateur implémente cette extension.
La spécification de Google énumère les champs pris en charge, user-agent, allow, disallow et sitemap, et exclut explicitement crawl-delay. Une ligne Crawl-delay destinée à Googlebot ne fournit donc aucun réglage de fréquence d’exploration pris en charge par le robot de Google.
Comment Bing décrit-il les délais ?
L’explication publiée par Bing décrit la valeur 5 comme divisant la journée en fenêtres de cinq secondes. Bingbot explore au maximum une page par fenêtre et peut n’en explorer aucune. Ce modèle documenté de fenêtres temporelles est à prendre en compte pour interpréter une valeur comme une limite d’activité.
La même explication indique que Bingbot gère séparément les délais d’exploration des sous-domaines disposant de leur propre fichier robots.txt. Examiner le fichier de chaque nom d’hôte concerné respecte donc le périmètre décrit par Bing.
Termes associés
- robots.txt
- ClaudeBot
- Directive User-agent de robots.txt
- Directive Disallow de robots.txt
- Googlebot prend-il en charge Crawl-delay ?
Questions fréquentes
Puis-je utiliser Crawl-delay pour bloquer ClaudeBot ?
Pour un blocage complet, les instructions d’Anthropic indiquent Disallow: / sous User-agent: ClaudeBot. Son exemple avec Crawl-delay limite l’activité d’exploration.
L’ajout de Crawl-delay ralentit-il Googlebot ?
La liste des champs pris en charge par Google exclut explicitement crawl-delay. Consultez cette liste pour déterminer quelles instructions robots.txt Google traite.
Sources
- Anthropic, « Does Anthropic crawl data from the web, and how can site owners block the crawler? », consulté le 17 octobre 2026
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
- Google, « How Google interprets the robots.txt specification », consulté le 17 octobre 2026
- Microsoft Bing, « To crawl or not to crawl, that is BingBot’s question », 3 mai 2012
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO