Par Elisha Bajemon | Publié le 22 octobre 2026

ClaudeBot, Claude-User et Claude-SearchBot : que fait chaque robot d’Anthropic ?

En bref

ClaudeBot collecte des contenus susceptibles de contribuer à l’entraînement des modèles d’Anthropic ; Claude-User accède aux sites quand un utilisateur pose une question à Claude ; Claude-SearchBot analyse les contenus pour la qualité des résultats de recherche. La page d’aide d’Anthropic, mise à jour le 7 avril 2026, décrit ces trois robots et le réglage de chacun dans robots.txt. L’éditeur indique que ses robots respectent les directives de ce fichier ainsi que l’extension Crawl-delay, et demande de répéter une désinscription sur chaque sous-domaine. Il publie une liste d’adresses IP dans bots.json, sans la répartir par robot. La documentation ne donne ni la chaîne complète d’agent utilisateur, ni le délai de prise en compte d’une modification du fichier.

Points clés

Selon la page d’aide d’Anthropic du 7 avril 2026, relue le 22 octobre 2026 :

• Restreindre ClaudeBot signale que les contenus futurs du site doivent être exclus des jeux de données d’entraînement.
• Bloquer Claude-User empêche la récupération du contenu en réponse à une question d’utilisateur ; bloquer Claude-SearchBot empêche l’indexation pour la recherche. Anthropic associe à chacun de ces blocages une baisse possible de visibilité.
• La désinscription passe par robots.txt. Un blocage par adresse IP peut empêcher la lecture de ce fichier et ne garantit pas une désinscription durable.
• Le fichier bots.json relevé le 22 octobre 2026 contient 14 préfixes IPv4 et une date de création au 20 octobre 2026. Il ne distingue pas les trois robots.

Combien de robots Anthropic déclare-t-il, et à quoi sert chacun ?

Trois. La page d’aide d’Anthropic, mise à jour le 7 avril 2026, indique que l’entreprise utilise des robots pour collecter des données sur le web public en vue du développement de ses modèles, pour la recherche sur le web et pour récupérer des contenus à la demande des utilisateurs. Elle attribue un robot à chaque usage afin que les propriétaires de sites puissent régler séparément ceux qu’ils acceptent.

Les noms du tableau sont ceux à placer après User-agent: dans robots.txt. La page ne publie pas la chaîne complète envoyée dans l’en-tête HTTP de chaque robot, ni de numéro de version.

Nous recommandons de formuler votre décision par usage avant de modifier le fichier : collecte destinée à l’entraînement, récupération à la demande d’un utilisateur, indexation pour la recherche. Ces trois questions peuvent recevoir des réponses différentes.

Que signifie bloquer ClaudeBot ?

Selon Anthropic, 7 avril 2026, ClaudeBot collecte des contenus web susceptibles de contribuer à l’entraînement de ses modèles d’IA générative.

Lorsqu’un site restreint l’accès de ClaudeBot, la page indique que cela signale l’exclusion des contenus futurs du site des jeux de données d’entraînement. Le mot « futurs » figure dans la documentation : elle ne traite ni des contenus collectés avant la mise en place de la règle, ni d’une procédure de retrait.

Voici l’exemple publié par Anthropic pour exclure un robot de l’ensemble d’un site :

User-agent: ClaudeBot
Disallow: /

L’éditeur demande d’ajouter ces lignes au fichier robots.txt du répertoire racine et de répéter l’opération sur chaque sous-domaine à exclure.

Que font Claude-User et Claude-SearchBot ?

Claude-User intervient quand une personne pose une question à Claude. Selon Anthropic, 7 avril 2026, le système peut alors accéder à des sites avec cet agent. La page présente son réglage comme le moyen de contrôler les sites accessibles par ces requêtes déclenchées par un utilisateur. Le désactiver empêche la récupération du contenu en réponse à la question posée, ce qui, d’après l’éditeur, peut réduire la visibilité du site pour la recherche demandée par l’utilisateur.

Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche. La page précise qu’il analyse les contenus pour renforcer la pertinence et l’exactitude des réponses de recherche. Le désactiver empêche l’indexation du contenu pour cet usage, ce qui peut réduire la visibilité et l’exactitude du site dans les résultats.

La page ne prévoit pas de traitement particulier de robots.txt pour Claude-User : l’engagement de respecter les directives standard de ce fichier est formulé pour l’ensemble des robots décrits. La documentation de l’outil de récupération web de l’API Claude mentionne par ailleurs robots.txt parmi les restrictions côté Anthropic qui peuvent bloquer une URL demandée par ce moyen ; elle ne nomme pas l’agent utilisé pour ces requêtes.

Nous recommandons de classer séparément les visites de Claude-User dans votre lecture des journaux : une récupération déclenchée par une question d’utilisateur ne s’interprète pas comme une exploration automatique.

Quels engagements Anthropic prend-il sur robots.txt et le rythme d’exploration ?

La page d’aide du 7 avril 2026 énonce quatre principes. La collecte doit être transparente. L’exploration ne doit être ni intrusive ni perturbatrice : l’éditeur dit faire attention à la fréquence d’exploration d’un même domaine et respecter Crawl-delay lorsque c’est approprié. Les robots respectent les signaux « do not crawl » exprimés par les directives standard de robots.txt. Enfin, ils respectent les technologies anti-contournement : Anthropic indique ne pas tenter de passer outre les CAPTCHA des sites explorés.

Pour limiter l’activité d’exploration, Anthropic indique prendre en charge l’extension Crawl-delay, qu’il qualifie lui-même de non standard. Son exemple :

User-agent: ClaudeBot
Crawl-delay: 1

La RFC 9309, publiée en septembre 2022, ne définit pas cette directive, et la page d’Anthropic ne précise pas l’unité de la valeur.

Sur la méthode de désinscription, la page est explicite : elle passe par la modification de robots.txt. Bloquer les adresses IP depuis lesquelles opèrent les robots peut ne pas fonctionner correctement ni garantir une désinscription durable, car ce blocage empêche Anthropic de lire le fichier. La RFC 9309 rappelle de son côté que ces règles ne constituent pas une autorisation d’accès : un contenu privé relève du contrôle d’accès du site.

Comment autoriser la recherche tout en bloquant l’entraînement ?

Avec un groupe par robot. La RFC 9309 définit un groupe comme une ou plusieurs lignes user-agent suivies d’une ou plusieurs règles ; les lignes allow et disallow indiquent si l’accès à un chemin est autorisé ou refusé. Le fragment suivant est une configuration proposée, à intégrer après lecture de votre fichier existant.

# Refuser la collecte destinée à l’entraînement
User-agent: ClaudeBot
Disallow: /

# Autoriser l’indexation pour la recherche
User-agent: Claude-SearchBot
Allow: /

# Autoriser la récupération à la demande d’un utilisateur
User-agent: Claude-User
Allow: /

Premier bloc : selon Anthropic, 7 avril 2026, la restriction de ClaudeBot signale que les contenus futurs du site doivent être exclus des jeux de données d’entraînement. Deuxième bloc : la page décrit ce que le blocage de Claude-SearchBot empêche ; elle ne décrit pas l’effet d’une autorisation, et rien dans cette configuration n’assure une présence dans les résultats de recherche. Troisième bloc : même lecture pour Claude-User, dont l’autorisation laisse le système récupérer le contenu en réponse à une question.

Avant d’ajouter ce fragment, relisez les groupes existants. Selon la RFC 9309, la recherche du groupe correspondant au nom de robot se fait sans distinction de casse ; si plusieurs groupes correspondent au même robot, leurs règles sont combinées. Un robot sans groupe propre suit le groupe User-agent: *. Un fichier qui bloque ClaudeBot dans un groupe et l’autorise dans un autre ne produit donc pas le résultat attendu. Le fichier de citead.com, relevé le 22 octobre 2026, réunit par exemple ClaudeBot, Claude-User, Claude-SearchBot et le jeton anthropic-ai dans un même groupe ; ce dernier jeton n’apparaît pas dans la page d’Anthropic.

La page d’Anthropic n’indique pas de délai de prise en compte après une modification. Nous recommandons de noter la date du changement, puis de comparer les passages observés avant et après dans les journaux.

Comment vérifier les passages de ces robots dans vos journaux ?

Recherchez les trois noms dans le champ agent utilisateur, puis comparez l’adresse IP de chaque requête à la liste publiée. Cette vérification suppose que votre journal enregistre cet en-tête : le format combined décrit dans la documentation d’Apache ajoute au format commun les champs Referer et User-agent.

Le nom seul ne suffit pas : Google, dans sa liste de robots mise à jour le 20 octobre 2026, avertit que la chaîne user-agent peut être falsifiée. Pour les robots d’Anthropic, la page d’aide du 7 avril 2026 donne le critère inverse : une adresse source présente dans sa liste indique que le robot vient d’Anthropic. Le fichier bots.json, relevé le 22 octobre 2026, contient 14 préfixes IPv4, soit un bloc en /22 et treize adresses en /32, avec une date de création au 20 octobre 2026. Il ne distingue pas ClaudeBot, Claude-User et Claude-SearchBot : le nom d’agent reste nécessaire pour attribuer une requête à un usage. Téléchargez-le à chaque vérification et conservez la version utilisée.

Les journaux montrent les passages des robots ; ils ne montrent pas si vos pages sont citées dans les réponses. Pour cette seconde mesure, la page de suivi des citations de Citead décrit l’envoi hebdomadaire de vos questions cibles à ChatGPT, Perplexity, Gemini et Google AI Overviews. Chaque citation de votre domaine est archivée avec l’extrait et la date, de même que chaque absence. La page précise que le suivi constate les citations au moment du relevé, sur les questions définies, et qu’il ne prédit pas les citations futures. Claude ne figure pas parmi les moteurs interrogés cités sur cette page.

Pour aller plus loin

• Autoriser ou bloquer GPTBot, ClaudeBot et PerplexityBot : que change votre robots.txt ?
• OAI-SearchBot, GPTBot et ChatGPT-User : que fait chaque robot d’OpenAI ?
• Google-Extended et Applebot-Extended : ce que ces directives bloquent selon Google et Apple
• Comment repérer les robots d’IA dans les journaux de votre serveur ?