En bref. Activez Enable Bot Preference Sync dans Configure AI bot policies, réglez Training sur Disallow et enregistrez pour ajouter les directives robots.txt gérées.

Définition : Au 17 octobre 2026, le fichier robots.txt géré par Cloudflare utilise Bot Preference Sync pour générer des directives destinées aux robots d’exploration (crawlers) à partir des politiques relatives aux robots d’IA. Cloudflare place le contenu géré avant le contenu d’un fichier robots.txt existant ou fournit un nouveau fichier si aucun n’existe.

Points clés

La documentation du réglage robots.txt de Cloudflare indique que la gestion du fichier robots.txt est disponible avec toutes les offres.
Le guide de configuration d’AI Crawl Control de Cloudflare exige un compte, un domaine connecté et un trafic acheminé via le proxy de Cloudflare pour utiliser ses contrôles des robots d’exploration.
La documentation Directives décrit un encadré d’état qui indique si Cloudflare gère le fichier robots.txt du domaine.

Où activer le réglage ?

Les instructions de mise en œuvre de Cloudflare commencent dans Security Settings, dans le tableau de bord. Le filtre à utiliser est Bot traffic, puis l’option Configure AI bot policies. Pour Training, la valeur sélectionnée est Disallow. L’activation d’Enable Bot Preference Sync, suivie de la sélection de Save, applique la configuration.

Bot Preference Sync génère des directives gérées lorsqu’une politique Search ou Agent est définie sur Block ou Block on pages with ads, ou lorsque Training est défini sur Disallow. Lorsque la synchronisation est activée, le réglage Training sur Disallow active également le blocage des robots d’entraînement de l’IA à la périphérie du réseau Cloudflare ; les robots à usages mixtes sont exclus de ce blocage.

Le fichier géré présenté dans la documentation comprend ce groupe propre à un robot :

User-agent: GPTBot
Disallow: /

Le fichier robots.txt communique des préférences d’accès, dont le respect est volontaire. Le blocage activé par la politique Training repose sur les contrôles des requêtes de Cloudflare.

Que devient un fichier robots.txt existant ?

La documentation de compatibilité de Cloudflare indique qu’une réponse HTTP 200 permet de reconnaître un fichier robots.txt existant sur le serveur du site. Cloudflare ajoute le contenu géré en tête et réunit les deux parties dans une seule réponse.

La documentation illustre ce fonctionnement avec crawlstop.com. Les règles d’origine et le sitemap restent présents après la section gérée :

User-agent: *
Disallow: /lp
Disallow: /feedback
Disallow: /langtest

Sitemap: https://www.crawlstop.com/sitemap.xml

Lorsqu’aucun fichier robots.txt n’existe, Cloudflare en crée et en fournit un qui contient des règles Disallow gérées pour les robots d’IA connus. La réponse gérée comprend également la Content Signals Policy de Cloudflare, qui décrit les catégories d’utilisation autorisée du contenu.

Comment vérifier la configuration ?

Le guide Directives de Cloudflare situe la vérification dans AI Crawl Control > Directives, après la sélection du compte et du domaine. L’encadré d’état indique si la gestion du fichier robots.txt est activée.

Le tableau Robots.txt availability offre une vue d’ensemble des noms d’hôte. Sa colonne Path identifie le fichier de chaque nom d’hôte, Status indique le résultat HTTP d’une requête de vérification du fichier et Content Signals indique la présence de directives d’utilisation. Ces champs permettent de vérifier à la fois l’état de la gestion et la disponibilité du fichier.

Si un fichier existe mais que les requêtes échouent, le guide recommande de vérifier les règles de pare-feu en amont ou les autres réglages de sécurité susceptibles de bloquer l’accès. Un nombre élevé de requêtes infructueuses justifie un examen de l’accès à robots.txt.

Termes associés

Questions fréquentes

Devez-vous supprimer votre fichier existant ?

La documentation du fichier robots.txt géré de Cloudflare décrit l’ajout du contenu géré en tête de votre fichier existant. Son exemple conserve les restrictions de chemins d’origine et le sitemap après la section gérée.

Comment bloquer un robot en particulier ?

Le guide de configuration de Cloudflare vous oriente vers AI Crawl Control > Crawlers. Sélectionnez Block dans la colonne Action du robot.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment activer le fichier robots.txt géré par Cloudflare ?