En bref. Le respect des directives robots.txt de Cloudflare est volontaire, tandis que les actions Block sur les robots appliquent des restrictions d’accès et que Training réglé sur Disallow avec Bot Preference Sync active aussi le blocage des robots destinés à l’entraînement des modèles d’IA.

Définition : Au 17 octobre 2026, Cloudflare considère les directives robots.txt comme des instructions que les robots d’exploration (crawlers) respectent volontairement et applique les blocages propres à chaque robot au moyen d’AI Crawl Control. Sa politique Training réglée sur Disallow avec Bot Preference Sync activé déclenche également le blocage des robots destinés à l’entraînement des modèles d’IA, à l’exception des robots à usages multiples.

Points clés

La documentation du réglage robots.txt de Cloudflare distingue les directives volontaires des restrictions techniques d’accès et décrit le fonctionnement conjoint de Training réglé sur Disallow et de Bot Preference Sync.
Le guide de gestion des robots indique que sélectionner Block crée ou met à jour une règle personnalisée du pare-feu applicatif web (Web Application Firewall, WAF) pour appliquer le blocage du robot concerné.
La documentation Directives compare les directives robots.txt actuelles aux requêtes passées pour signaler les infractions.
Le guide d’intégration avec le WAF de Cloudflare précise que d’autres règles de sécurité peuvent bloquer les robots réglés sur Allow.

Que change le fichier robots.txt géré par Cloudflare ?

Un fichier robots.txt se trouve à la racine d’un domaine et indique aux robots les contenus auxquels ils doivent accéder. La documentation du réglage robots.txt de Cloudflare précise que le contenu géré est ajouté au début d’un fichier existant qui renvoie le statut HTTP 200. Si le site ne dispose pas de fichier, Cloudflare en sert un contenant des règles Disallow gérées pour les robots d’IA connus.

L’exemple de fichier géré présenté dans la documentation comprend ce groupe propre à un robot :

User-agent: GPTBot
Disallow: /

Ces lignes expriment une restriction d’exploration. Le respect de ce fichier par un robot est volontaire.

La même documentation décrit un réglage associé qui applique le blocage : dans Security Settings, sous Bot traffic, Configure AI bot policies propose une politique Training. Sélectionner Disallow, activer Bot Preference Sync et enregistrer ajoute des directives gérées et active le blocage en périphérie du réseau Cloudflare pour les robots destinés à l’entraînement des modèles d’IA. Les robots à usages multiples sont exclus de ce blocage. La politique active compte donc aussi, en complément du contenu du fichier.

Comment une action sur un robot applique-t-elle le blocage ?

AI Crawl Control fournit des outils pour définir une politique d’accès propre à chaque robot, comme l’explique la présentation du produit de Cloudflare. Le guide de gestion des robots décrit les options Allow et Block dans la colonne Actions de chaque robot.

Sélectionner Block crée ou met à jour une règle WAF personnalisée dans la zone Cloudflare du site. Un WAF filtre les requêtes entrantes selon des règles. La documentation d’intégration avec le WAF de Cloudflare précise que la règle sous-jacente se nomme AI Crawl Control et se trouve dans Security > Security rules, avec le filtre Custom rules.

Le réglage Allow exige aussi de tenir compte des autres règles. Le même guide d’intégration explique que d’autres règles WAF personnalisées peuvent bloquer un robot autorisé. À l’inverse, des règles exécutées auparavant qui permettent d’ignorer les règles WAF personnalisées peuvent contourner le blocage d’AI Crawl Control. La configuration et l’ordre des règles influent sur le traitement de la requête.

Comment vérifier séparément le fichier et l’application du blocage ?

Le guide Directives de Cloudflare décrit un encadré d’état indiquant si Cloudflare gère robots.txt. Son tableau Robots.txt availability présente l’état des fichiers sur les différents noms d’hôte, notamment le statut de réponse HTTP et la présence de Content Signals, qui décrivent les préférences d’utilisation du contenu.

Le tableau Robots.txt violations recense les chemins demandés qu’interdit le fichier actuel. Comme il compare les directives actuelles aux requêtes historiques, l’ajout d’une règle Disallow peut faire apparaître des requêtes antérieures comme des infractions. Le rapport doit donc s’interpréter en tenant compte de la date des modifications.

Le même guide oriente les propriétaires de sites vers l’onglet Crawlers pour bloquer un robot, ou vers le WAF pour créer une règle de sécurité propre à un chemin. Un rapport d’infractions fournit des éléments pour décider des accès ; la politique ou la règle de sécurité choisie applique la restriction. Le guide de gestion des robots avertit également que le nombre de requêtes en échec inclut les erreurs et les effets d’autres règles : ce nombre seul ne permet donc pas d’identifier l’action de blocage d’AI Crawl Control.

Termes associés

Questions fréquentes

L’ajout de Disallow bloque-t-il automatiquement les requêtes ?

La directive elle-même repose sur le respect des instructions par le robot. La documentation du réglage robots.txt de Cloudflare précise séparément que Training réglé sur Disallow avec Bot Preference Sync activé déclenche également le blocage des robots destinés à l’entraînement des modèles d’IA, à l’exception des robots à usages multiples.

Un robot autorisé peut-il encore subir un blocage ?

Oui. Le guide d’intégration avec le WAF de Cloudflare conseille de vérifier les autres règles WAF personnalisées lorsqu’un robot réglé sur Allow reste bloqué.

Le tableau des infractions applique-t-il automatiquement les restrictions du fichier ?

Le guide Directives de Cloudflare décrit un rapport et des actions distinctes : bloquer le robot dans l’onglet Crawlers ou créer une règle WAF propre à un chemin.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Les réglages robots.txt de Cloudflare bloquent-ils aussi les requêtes ?