En bref. Claude-SearchBot contribue à l’indexation pour la recherche d’Anthropic, avec des règles robots.txt et la prise en charge de Crawl-delay.

Définition : Claude-SearchBot est le robot d’exploration web (crawler) d’Anthropic destiné à améliorer la pertinence et la précision des réponses de recherche. Il analyse le contenu en ligne pour l’indexation dans le cadre de la recherche.

Points clés

Au 17 octobre 2026, la documentation d’Anthropic sur la confidentialité et l’exploration web indique que le blocage de Claude-SearchBot empêche l’indexation pour la recherche et peut réduire la visibilité d’un site ainsi que la précision des résultats de recherche le concernant.
Le protocole d’exclusion des robots (Robots Exclusion Protocol) définit des groupes User-agent et des règles de chemin dans un fichier nommé /robots.txt, placé à la racine du service.
Anthropic publie un flux d’adresses IP de ses robots d’exploration contenant les champs creationTime, prefixes et ipv4Prefix, qui permet de vérifier les adresses sources des robots.

Comment un site contrôle-t-il Claude-SearchBot ?

Un fichier robots.txt fournit des consignes d’exploration. Une ligne User-agent identifie le robot auquel s’applique un groupe de règles ; Disallow précise les chemins exclus de l’exploration. La documentation d’Anthropic sur la confidentialité demande aux propriétaires de sites de placer les règles de blocage dans le fichier robots.txt à la racine et de répéter la configuration pour chaque sous-domaine à exclure. L’adaptation de son exemple de blocage au robot de recherche donne :

User-agent: Claude-SearchBot
Disallow: /

Selon la RFC 9309, la correspondance du nom du robot est insensible à la casse. Les groupes qui correspondent au même robot sont combinés. Le groupe générique User-agent: * s’applique lorsqu’aucun groupe propre au robot ne correspond. L’examen de tous les groupes correspondants est donc nécessaire lors de la modification d’un fichier existant.

Pour les règles de chemin, la RFC impose de retenir le chemin correspondant le plus spécifique. La correspondance des chemins devrait être sensible à la casse, et une règle Allow équivalente devrait avoir priorité sur Disallow. Une règle couvrant l’ensemble du site doit être examinée avec les éventuelles exceptions plus spécifiques.

Comment ralentir ou vérifier l’exploration ?

Les consignes d’Anthropic sur les robots d’exploration prévoient la prise en charge de l’extension non standard Crawl-delay pour limiter l’activité d’exploration. L’exemple fourni peut être adapté à Claude-SearchBot :

User-agent: Claude-SearchBot
Crawl-delay: 1

Cette configuration constitue une alternative à l’exemple de blocage de l’ensemble du site. Anthropic précise également qu’un robot dont l’adresse IP source figure sur la liste publiée provient d’Anthropic.

Le flux JSON regroupe les préfixes réseau sous prefixes ; chaque plage répertoriée utilise le champ ipv4Prefix. L’adresse source d’une requête peut être comparée à ces plages. Le flux identifie collectivement l’infrastructure des robots d’exploration d’Anthropic : la vérification de l’adresse permet donc d’identifier l’opérateur, sans distinguer un ensemble d’adresses réservé à la recherche.

Termes associés

Questions fréquentes

Où placer les règles ?

La RFC 9309 exige le nom de fichier en minuscules /robots.txt, à la racine du service. Elle impose l’encodage UTF-8 et le type de média text/plain.

Le fichier robots.txt protège-t-il les pages confidentielles ?

La même RFC présente ces règles comme des consignes d’exploration, distinctes des autorisations d’accès. Pour les pages à accès restreint, elle recommande une mesure de sécurité au niveau applicatif, comme l’authentification HTTP ; les chemins inscrits dans robots.txt sont exposés publiquement.

Que se passe-t-il si je bloque Claude-SearchBot ?

Selon Anthropic, son blocage empêche l’indexation de votre contenu pour la recherche et peut réduire la visibilité de votre site ainsi que la précision des résultats de recherche le concernant pour les utilisateurs.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO