Par Elisha Bajemon | Publié le 17 octobre 2026

Autoriser ou bloquer GPTBot, ClaudeBot et PerplexityBot : que change votre robots.txt ?

En bref

Pour bloquer GPTBot dans robots.txt, écrivez User-agent: GPTBot, puis Disallow: / : cela vise la collecte pour l’entraînement. La documentation d’OpenAI relevée le 9 octobre 2026 distingue ce réglage de celui d’OAI-SearchBot, consacré à la recherche de ChatGPT. Anthropic, le 7 avril 2026 distingue également entraînement et recherche. PerplexityBot sert à la recherche, selon la documentation de Perplexity relevée le 9 octobre 2026. Les accès demandés par un utilisateur suivent des règles propres à chaque éditeur. Pour les résultats de recherche, OpenAI, relevé du 9 octobre 2026 annonce une prise en compte en environ 24 heures ; les systèmes de Perplexity, relevé du 9 octobre 2026 peuvent demander jusqu’à 24 heures.

Points clés

• Selon OpenAI, dans sa documentation relevée le 9 octobre 2026, GPTBot et OAI-SearchBot ont des fonctions distinctes et se règlent indépendamment.
• Dans son article du 7 avril 2026, Anthropic documente trois robots : ClaudeBot, Claude-User et Claude-SearchBot. La désinscription se configure sur chaque sous-domaine concerné.
• La documentation de Perplexity relevée le 9 octobre 2026 rattache PerplexityBot à la recherche et indique que Perplexity-User ignore généralement robots.txt.
• Selon la RFC 9309 de l’IETF, publiée en septembre 2022, le groupe * sert aux robots sans groupe correspondant à leur nom.
• Le fichier de Citead relevé le 9 octobre 2026 liste 14 noms dans un groupe dédié qui exclut seulement /app/.

1. Que fait un robots.txt, et que ne fait-il pas ?

Un robots.txt donne aux robots des consignes d’exploration pour les chemins de votre site. Il se place à la racine, sous le nom /robots.txt. La RFC 9309 de l’IETF, publiée en septembre 2022 décrit des groupes : une ou plusieurs lignes User-agent désignent les destinataires, puis Allow et Disallow indiquent les chemins autorisés ou exclus.

La lecture commence par le choix du groupe. Quand le nom du robot correspond à un groupe, celui-ci s’applique. Le groupe User-agent: * intervient en l’absence de correspondance. Si plusieurs groupes correspondent au même nom, leurs règles se combinent.

À l’intérieur du groupe retenu, la correspondance de chemin la plus spécifique l’emporte. Ainsi, dans le fichier de Citead relevé le 9 octobre 2026, Disallow: /app/ prend le dessus sur Allow: / pour les chemins commençant par /app/. Cette lecture applique la règle de priorité définie par la RFC.

Le fichier ne protège pas un espace privé. La même RFC recommande des mesures de sécurité adaptées, par exemple une authentification HTTP. Inscrire un chemin dans robots.txt le rend même public : il faut distinguer la consigne adressée au robot du contrôle d’accès assuré par votre site.

2. Quels robots servent à l’entraînement, lesquels à la recherche ?

Les noms des agents correspondent à des usages déclarés par leurs éditeurs. Ce tableau reprend les documentations d’OpenAI et de Perplexity relevées le 9 octobre 2026, ainsi que l’article d’Anthropic du 7 avril 2026.

Nous vous recommandons de choisir les agents à régler à partir de votre objectif. Refuser une collecte destinée à l’entraînement et autoriser l’exploration pour la recherche sont des choix distincts. Chez Anthropic, l’exclusion annoncée pour ClaudeBot concerne expressément les contenus futurs.

OpenAI documente aussi OAI-AdsBot pour les pages soumises comme annonces dans ChatGPT. Le tableau se limite ici à l’entraînement, à la recherche et aux accès demandés par les utilisateurs. Vous pouvez poursuivre avec OAI-SearchBot, GPTBot et ChatGPT-User : les trois robots d’OpenAI et ce que fait chacun.

3. Comment lire le robots.txt de citead.com ligne par ligne ?

Le robots.txt servi par Citead le 9 octobre 2026 contient deux groupes, une ligne Sitemap et des commentaires. Voici le fichier intégral relevé à cette date :

# robots.txt for Citead
# https://citead.com

User-agent: *
Allow: /
Disallow: /app/
Disallow: /login
Disallow: /register
Disallow: /forgot-password
Disallow: /reset-password

# AI crawlers and AI search user agents: public pages are open, the app is not.
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
Allow: /
Disallow: /app/

Sitemap: https://citead.com/sitemap.xml

# Machine-readable site summary for LLMs (llmstxt.org)
# https://citead.com/llms.txt
# https://citead.com/llms-full.txt

Le groupe général autorise l’exploration, sauf pour les chemins indiqués par ses lignes Disallow. Le groupe suivant réunit 14 noms avant ses propres règles. Il autorise l’exploration et exclut uniquement les chemins commençant par /app/.

La différence compte : les exclusions /login, /register, /forgot-password et /reset-password ne figurent pas dans ce groupe dédié. En appliquant la RFC 9309, septembre 2022, un robot qui correspond à ce groupe n’hérite pas des exclusions du groupe *. C’est une lecture des directives du fichier ; elle ne constate aucun passage effectif de robot sur ces pages.

Les lignes qui commencent par # sont des commentaires. Les adresses de llms.txt et de llms-full.txt qui y figurent n’ajoutent donc aucune règle d’autorisation ou d’exclusion. La ligne Sitemap appartient aux indications supplémentaires qu’un robot peut interpréter, selon la même RFC.

Enfin, anthropic-ai figure dans le fichier de Citead. Ce nom n’apparaît pas parmi les robots documentés dans la page d’Anthropic du 7 avril 2026, relue le 9 octobre 2026. Nous vous recommandons de reprendre les noms documentés pour configurer les accès d’Anthropic, sans attribuer d’effet au jeton anthropic-ai.

4. Comment bloquer GPTBot et ClaudeBot en laissant la recherche ouverte ?

Nous recommandons de placer GPTBot et ClaudeBot dans leurs propres groupes d’exclusion, en conservant des groupes ouverts pour les robots de recherche. Dans ces derniers, reprenez les exclusions de chemins qui doivent continuer à s’appliquer : le groupe général ne les transmet pas. La configuration ci-dessous est notre proposition de méthode. Elle assemble les noms et les lignes du fichier de Citead relevé le 9 octobre 2026, avec la directive de blocage de l’article d’Anthropic du 7 avril 2026. Pour GPTBot, elle applique le réglage d’exclusion décrit dans la documentation d’OpenAI relevée le 9 octobre 2026.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Ce bloc montre les autorisations et les refus par agent ; complétez les groupes de recherche avec vos exclusions existantes avant de l’utiliser. Retirez d’abord GPTBot et ClaudeBot d’un éventuel groupe partagé qui les autorise. La RFC 9309, septembre 2022 prévoit de combiner les groupes correspondant au même agent ; elle recommande de retenir Allow lorsque les règles d’autorisation et d’exclusion sont équivalentes. Ajouter simplement un bloc à la fin peut donc laisser subsister une autorisation concurrente.

Pour limiter la fréquence d’exploration de ClaudeBot, le même article d’Anthropic documente cette configuration distincte :

User-agent: ClaudeBot
Crawl-delay: 1

Anthropic présente Crawl-delay comme une extension non standard. Cet exemple concerne le rythme d’exploration. Pour une désinscription, l’éditeur demande de modifier robots.txt sur chaque sous-domaine concerné et prévient qu’un blocage par adresse IP peut empêcher la lecture de ce fichier, sans assurer une désinscription durable.

5. Que changent les agents déclenchés par un utilisateur ?

Les éditeurs ne décrivent pas un comportement uniforme pour ces accès. OpenAI, relevé du 9 octobre 2026 indique que ChatGPT-User intervient lors de certaines actions demandées par les utilisateurs et que les règles de robots.txt peuvent ne pas s’appliquer. Cet agent ne sert pas à déterminer l’admissibilité dans la recherche.

Perplexity, relevé du 9 octobre 2026 précise que Perplexity-User peut visiter une page pour répondre à une question. Parce que cette récupération répond à une demande, il ignore généralement robots.txt.

Anthropic, le 7 avril 2026 présente au contraire Claude-User comme un réglage permettant aux propriétaires de sites de contrôler ces accès. L’éditeur indique qu’un blocage empêche la récupération du contenu pour répondre à l’utilisateur et peut réduire sa visibilité dans ce contexte.

Pour vos réglages, nous vous recommandons donc de vérifier le comportement annoncé pour chaque nom d’agent.

6. Comment vérifier que votre règle est prise en compte ?

Nous vous recommandons de commencer par ouvrir /robots.txt sur le domaine concerné et de comparer le texte servi à votre modification. La RFC 9309, septembre 2022 impose cet emplacement à la racine. Vérifiez surtout le groupe applicable à l’agent et les éventuelles autorisations concurrentes.

Laissez ensuite le temps aux systèmes de relire le fichier : OpenAI, relevé du 9 octobre 2026 annonce environ 24 heures pour sa recherche ; Perplexity, relevé du même jour annonce jusqu’à 24 heures. La RFC 9309, septembre 2022 recommande de ne pas utiliser une version en cache au-delà de 24 heures, sauf si robots.txt devient inaccessible à cause d’erreurs du serveur ou du réseau.

Contrôlez enfin les journaux du serveur. Perplexity, relevé du 9 octobre 2026 recommande de surveiller les requêtes après une modification du pare-feu et de vérifier conjointement le nom de l’agent et ses adresses IP officielles. Un fichier correctement affiché établit ce que vous servez ; les journaux apportent l’observation des requêtes effectivement reçues. Pour poursuivre cette vérification, consultez Repérer les robots d’IA dans les journaux de votre serveur.

Pour aller plus loin

Pour prolonger cette lecture, consultez les articles suivants :

• OAI-SearchBot, GPTBot et ChatGPT-User : les trois robots d’OpenAI et ce que fait chacun.
• Google-Extended et Applebot-Extended : ce que ces directives bloquent selon Google et Apple.
• Repérer les robots d’IA dans les journaux de votre serveur.
• Préparer un site WordPress pour les robots d’IA : robots.txt, sitemap et llms.txt.

Reprenez le robots.txt de Citead à côté du vôtre et identifiez le groupe applicable à chaque agent avant de modifier votre fichier.