En bref. Pour limiter l’activité d’exploration d’Anthropic, sa documentation présente un groupe ClaudeBot avec Crawl-delay: 1 dans robots.txt.
Définition : Au 17 octobre 2026, Anthropic documente la prise en charge de
Crawl-delay, une extension non standard placée dansrobots.txt, le fichier qui donne aux robots d’exploration (crawlers) les consignes d’un site web. Son exemple de configuration applique ce délai àClaudeBot.
Points clés
- La documentation d’Anthropic sur la confidentialité et ses robots d’exploration donne l’exemple
User-agent: ClaudeBotsuivi deCrawl-delay: 1. - Le protocole d’exclusion des robots (Robots Exclusion Protocol), RFC 9309, impose le nom de fichier en minuscules
/robots.txtà la racine du service. - Au 17 octobre 2026, la spécification robots.txt de Google mentionne explicitement
crawl-delayparmi les champs non pris en charge.
Quelle configuration Anthropic présente-t-il ?
La documentation d’Anthropic sur la confidentialité fournit cet exemple pour limiter l’activité d’exploration :
User-agent: ClaudeBot
Crawl-delay: 1
La ligne User-agent identifie le robot auquel la consigne s’applique. Anthropic indique respecter Crawl-delay « lorsque cela est approprié » (« where appropriate »). Sa page fournit la valeur 1 sans préciser l’unité, la plage de valeurs acceptées ni l’intervalle d’actualisation des règles.
La même documentation utilise Disallow: / pour bloquer un robot sur l’ensemble du site web. L’ajout de cette exclusion transforme la demande de limitation d’activité en une demande de blocage de l’exploration.
Où placer le fichier ?
La RFC 9309 impose un fichier encodé en UTF-8 et servi avec le type de média text/plain. Elle donne cet exemple d’emplacement :
https://www.example.com/robots.txt
Le nom du fichier est en minuscules et le fichier se trouve directement à la racine de l’hôte. Ces exigences donnent des points de contrôle concrets pour le déploiement : l’URL publique, le nom du fichier, l’encodage et le type de média de la réponse doivent respecter le protocole.
Le protocole permet aussi aux robots d’interpréter des enregistrements supplémentaires, au-delà des règles qu’il définit. Anthropic présente Crawl-delay comme une extension non standard de ce type ; sa prise en charge dépend donc de l’implémentation du robot.
Comment traiter les règles existantes des robots ?
Un groupe robots.txt associe un nom de robot à des règles. La RFC 9309 appelle ce nom un jeton de produit (product token) et impose une correspondance insensible à la casse. Le groupe par défaut utilise User-agent: * lorsqu’aucun groupe nommé ne correspond.
L’ajout d’un groupe ClaudeBot nécessite de revoir les restrictions de chemins existantes en même temps que la consigne de délai. Selon les règles de sélection des groupes du protocole, un groupe nommé correspondant au robot est prioritaire sur le groupe par défaut avec caractère générique. Le protocole combine aussi les règles de plusieurs groupes correspondant au même nom de robot. Ces précisions comptent lorsqu’un fichier existant contient déjà un groupe ClaudeBot ou des exclusions associées au caractère générique.
Termes associés
Questions fréquentes
Puis-je utiliser la même règle de délai pour Googlebot ?
La spécification robots.txt de Google indique que crawl-delay n’est pas pris en charge. Vous devez vérifier la prise en charge documentée pour chaque robot avant d’utiliser ce champ à son intention.
Puis-je plutôt bloquer complètement ClaudeBot ?
Oui. L’exemple de blocage documenté par Anthropic associe User-agent: ClaudeBot à Disallow: /. Pour bloquer l’exploration sur l’ensemble d’un site, Anthropic vous demande d’appliquer la configuration séparément à chaque sous-domaine concerné.
Sources
- Anthropic, « Does Anthropic crawl data from the web, and how can site owners block the crawler? », 7 avril 2026
- IETF, « Robots Exclusion Protocol », septembre 2022
- Google, « How Google interprets the robots.txt specification », 31 août 2026
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO