En bref. ClaudeBot collecte du contenu susceptible de servir à l’entraînement des modèles d’Anthropic, selon les règles d’accès de robots.txt.

Définition : Au 17 octobre 2026, ClaudeBot est le robot d’exploration (crawler) d’Anthropic chargé de collecter du contenu web susceptible de contribuer à l’entraînement des modèles, selon sa documentation sur les robots d’exploration.

Points clés

Restreindre l’accès de ClaudeBot signale que les futurs contenus du site doivent être exclus des jeux de données d’entraînement d’Anthropic, selon sa documentation sur les robots d’exploration.
La liste d’adresses publiée par Anthropic fournit les préfixes réseau IPv4 de ses robots d’exploration.
Le Robots Exclusion Protocol de l’IETF définit robots.txt comme un ensemble d’instructions d’exploration et précise que ces règles sont distinctes des autorisations d’accès.

Que couvre le contrôle d’accès à ClaudeBot ?

La documentation d’Anthropic sur les robots d’exploration attribue à ClaudeBot la collecte destinée à l’entraînement, à Claude-SearchBot l’indexation pour la recherche et à Claude-User la récupération de contenu à la demande des utilisateurs. Chacun dispose de son propre contrôle d’accès.

Comment bloquer ClaudeBot ?

Anthropic fournit cet exemple de blocage de l’ensemble du site, à appliquer séparément sur chaque sous-domaine concerné :

User-agent: ClaudeBot
Disallow: /

La méthode d’accès définie par le protocole impose de placer le fichier au chemin /robots.txt, en minuscules, à la racine du service. Elle exige un encodage UTF-8 et le type de média text/plain. Un fichier robots.txt placé dans un sous-répertoire de contenu ne se trouve pas à l’emplacement requis.

La règle user-agent sélectionne un robot par son identifiant de produit (product token), le nom utilisé pour trouver les groupes d’instructions applicables. Ici, cet identifiant est ClaudeBot.

Comment vérifier la configuration d’un site web ?

La vérification commence par les groupes existants du fichier robots.txt. Selon les règles de correspondance du protocole, la comparaison des noms de robots ne tient pas compte de la casse, et les groupes correspondant au même nom sont fusionnés. Le groupe User-agent: * s’applique lorsqu’aucun groupe spécifique ne correspond. Par conséquent, examiner uniquement le groupe contenant le caractère générique peut laisser de côté les règles qui s’appliquent à ClaudeBot.

Les règles de correspondance des chemins retiennent le chemin correspondant le plus spécifique. Lorsque des règles Allow et Disallow équivalentes se contredisent, le protocole recommande d’utiliser Allow. Ces détails comptent lorsqu’un groupe de blocage contient des exceptions. Le protocole recommande aussi de tenir compte de la casse pour comparer les chemins : la graphie du nom d’un répertoire compte donc lors de la vérification d’une exception.

Le flux d’adresses des robots d’exploration d’Anthropic est un objet JSON comportant les champs creationTime et prefixes. Ses entrées réseau utilisent la clé ipv4Prefix. Il s’agit de plages réseau : l’adresse source d’une requête peut être comparée à une plage de la liste pour vérifier si elle en fait partie. La documentation d’Anthropic présente cette vérification comme un élément permettant d’établir qu’un robot provient d’Anthropic.

Termes associés

Questions fréquentes

Pouvez-vous ralentir ClaudeBot au lieu de le bloquer ?

La documentation d’Anthropic indique la prise en charge de l’extension non standard Crawl-delay de robots.txt pour limiter l’activité d’exploration.

Le fichier robots.txt protège-t-il les contenus confidentiels ?

Les considérations de sécurité du protocole expliquent que les règles de robots.txt sont accessibles au public. Pour les contenus à protéger, le document préconise une mesure de sécurité au niveau applicatif, telle que l’authentification HTTP.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO