En bref. Anthropic publie un flux de plages IP de robots d’exploration pour vérifier les adresses sources et renvoie les propriétaires de sites web vers robots.txt pour refuser l’exploration.
Définition : Oui. Au 17 octobre 2026, la documentation d’Anthropic sur la confidentialité et ses robots d’exploration (crawlers) renvoie vers une liste publique de plages IP permettant d’identifier les requêtes provenant d’Anthropic. Selon cette documentation, une adresse IP source appartenant à ces plages indique une origine Anthropic.
Points clés
- La documentation d’Anthropic sur la confidentialité et ses robots d’exploration fournit les consignes de l’opérateur pour vérifier l’adresse source.
- Le flux des robots d’exploration vers lequel elle renvoie contient un champ
creationTimeet un tableauprefixescomposé d’entréesipv4Prefix. - La documentation d’Anthropic sur les adresses IP décrit séparément les adresses réseau utilisées pour accéder à l’API Claude et à la Console.
Comment un site web peut-il vérifier l’adresse source d’un robot d’exploration ?
Le flux publié pour les robots d’exploration est disponible à cette adresse :
https://claude.com/crawling/bots.json
Les entrées du tableau prefixes décrivent des plages d’adresses. La liste téléchargée contient par exemple cette entrée :
{ "ipv4Prefix": "216.73.216.0/22" }
Le responsable d’un site compare l’adresse IP source de la requête entrante aux plages du flux. La comparaison porte sur l’appartenance à une plage : l’adresse doit se trouver dans un préfixe répertorié. Une simple ressemblance entre certains caractères de l’adresse et ceux de la représentation textuelle du préfixe ne suffit pas.
Dans le fichier téléchargé, le champ creationTime a pour valeur 2026-10-07T00:00:00Z. Conserver ce champ avec une copie du fichier permet d’identifier la version utilisée pour une vérification. Le fichier fournit une liste d’adresses commune, sans étiquettes attribuant chaque préfixe à ClaudeBot, Claude-User ou Claude-SearchBot. Une correspondance ne permet donc pas, à elle seule, d’identifier le rôle d’un robot particulier.
Les plages d’adresses de l’API sont-elles interchangeables avec la liste des robots d’exploration ?
La documentation d’Anthropic sur les adresses IP décrit des adresses fixes pour les connexions entrantes et sortantes, destinées à la configuration du pare-feu pour l’API Claude et la Console. Les adresses entrantes reçoivent les connexions aux services d’Anthropic ; les adresses sortantes couvrent les requêtes envoyées par ces services.
Pour vérifier l’origine d’un robot d’exploration, le point de départ approprié est le flux indiqué dans l’article sur la confidentialité et les robots. Associer les documents sources à une règle fondée sur les adresses permet d’en conserver le périmètre prévu : la connectivité à l’API et la reconnaissance des robots qui visitent un site web relèvent de configurations distinctes.
Quel est le lien entre vérification et blocage ?
Un fichier robots.txt contient des règles que les robots d’exploration sont invités à respecter. La RFC 9309, qui spécifie le protocole d’exclusion des robots (Robots Exclusion Protocol), définit ce mécanisme et explique que ses règles ne constituent pas une autorisation d’accès. Sa section consacrée à la sécurité préconise des mesures de protection du contenu lorsque l’accès doit être protégé.
L’article d’Anthropic sur la confidentialité et ses robots d’exploration indique aux propriétaires de sites web de modifier robots.txt pour refuser l’exploration. Il donne cet exemple pour ClaudeBot :
User-agent: ClaudeBot
Disallow: /
L’article situe ce fichier dans le répertoire racine du site web et exige cette configuration sur chaque sous-domaine à exclure. Il avertit que le blocage des adresses IP peut entraver la lecture de robots.txt par les robots. La vérification de l’adresse source répond donc à un objectif opérationnel différent de la communication des préférences d’exploration.
Termes associés
Questions fréquentes
Où obtenir les plages d’adresses des robots d’exploration d’Anthropic ?
Utilisez le flux JSON des robots d’exploration indiqué dans la documentation d’Anthropic sur la confidentialité. Conservez son champ creationTime lorsque vous consignez la liste utilisée.
robots.txt peut-il protéger du contenu privé ?
La RFC 9309 distingue les règles destinées aux robots d’exploration de l’autorisation d’accès. Utilisez une mesure de sécurité adaptée pour protéger le contenu dont l’accès doit être restreint.
Sources
- Anthropic, « Does Anthropic crawl data from the web, and how can site owners block the crawler? », 7 avril 2026
- Anthropic, crawler IP range JSON feed, creationTime 7 octobre 2026
- Anthropic, « IP addresses », consulté le 17 octobre 2026
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO