En bref. Bloquer ClaudeBot avec Disallow: / et utiliser des groupes Allow: / distincts pour Claude-SearchBot et Claude-User permet d’autoriser leurs fonctions de recherche et de récupération.

Définition : Au 17 octobre 2026, Anthropic documente des règles robots.txt distinctes pour son robot d’exploration destiné à l’entraînement ClaudeBot, son robot de recherche Claude-SearchBot et son agent répondant aux demandes des utilisateurs Claude-User. Un site peut bloquer ClaudeBot tout en autorisant les autres agents à accéder à son contenu pour leurs fonctions respectives de recherche et de récupération.

Points clés

La documentation d’Anthropic sur la confidentialité et l’exploration web attribue des fonctions différentes à ClaudeBot, Claude-SearchBot et Claude-User et indique que ses robots respectent les directives robots.txt.
Le protocole d’exclusion des robots de l’IETF précise qu’un robot suit le groupe correspondant à son identifiant user-agent ; le groupe générique s’applique lorsqu’aucun groupe ne correspond.
L’aide d’Anthropic sur la recherche web décrit la récupération de pages web (web fetch) : lorsque la recherche web est activée, Claude peut récupérer le contenu d’une page à partir d’une URL fournie.

Que doit contenir le fichier robots.txt ?

Un fichier robots.txt définit les règles d’accès des robots d’exploration. Une ligne User-agent identifie le robot auquel les règles suivantes s’appliquent. Disallow: / bloque tous les chemins, tandis que Allow: / les autorise.

Les instructions d’Anthropic sur ses robots donnent un exemple de blocage de ClaudeBot. Cet exemple, complété par des autorisations explicites pour les autres agents documentés, donne les groupes distincts suivants :

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

Ces groupes doivent figurer dans le fichier robots.txt existant du site, à la racine. La même documentation exige de configurer l’opposition à l’exploration sur chaque sous-domaine concerné. Une règle appliquée au site principal nécessite donc une configuration correspondante sur chaque sous-domaine où la même politique doit s’appliquer.

L’exemple autorise tous les chemins pour Claude-SearchBot et Claude-User. Les éventuelles restrictions de chemins souhaitées pour ces agents doivent figurer dans leurs groupes respectifs.

Pourquoi autoriser Claude-User en plus de Claude-SearchBot ?

Les descriptions des robots d’Anthropic associent Claude-SearchBot à l’amélioration des réponses de recherche et à l’indexation des contenus pour la recherche. Claude-User accède aux sites web en réponse aux demandes des utilisateurs. Désactiver Claude-User empêche cette récupération à la demande ; désactiver Claude-SearchBot empêche l’indexation décrite dans la documentation.

Autoriser les deux agents maintient l’autorisation pour les deux fonctions documentées. Restreindre ClaudeBot signale que les futurs contenus du site doivent être exclus des jeux de données d’entraînement des modèles d’Anthropic.

Quel effet les règles existantes ont-elles sur cette configuration ?

Selon la RFC 9309, la norme qui définit le protocole d’exclusion des robots, un groupe nommé correspondant à l’agent prévaut sur le groupe de repli User-agent: *. Un blocage générique demande donc une attention particulière lorsque le fichier ne contient pas de groupes explicites pour Claude-SearchBot ou Claude-User.

La même norme exige de combiner les règles de plusieurs groupes correspondant au même agent. L’ajout d’un groupe laisse les règles correspondantes existantes en vigueur. Parmi les règles combinées, le chemin correspondant le plus précis détermine l’accès. Une autorisation globale sur / peut coexister avec un blocage plus précis portant sur un répertoire.

Le fichier doit également être servi à l’adresse /robots.txt, sous forme de texte encodé en UTF-8 avec le type de média text/plain, comme le précise la norme. L’examen du fichier complet, y compris des groupes d’agents en double et des restrictions de chemins, permet d’établir ce que la configuration autorise.

Termes associés

Questions fréquentes

Puis-je bloquer l’exploration destinée à l’entraînement tout en autorisant l’accès pour la recherche ?

Oui. La documentation d’Anthropic sur ses robots décrit des agents distincts pour ces fonctions. Vous pouvez interdire ClaudeBot et autoriser Claude-SearchBot, avec un choix séparé pour la récupération par Claude-User.

Un blocage générique bloque-t-il aussi les agents de recherche ?

Selon le protocole d’exclusion des robots, il s’applique lorsqu’aucun groupe nommé ne correspond. Vous pouvez ajouter des groupes explicites pour Claude-SearchBot et Claude-User, puis examiner les autres groupes correspondant à ces agents.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment bloquer ClaudeBot tout en autorisant la recherche de Claude ?