Par Elisha Bajemon | Publié le 22 octobre 2026

Cloudflare face aux robots d’IA : blocage en un clic, robots vérifiés, Content Signals et Pay per Crawl

En bref

Un site derrière Cloudflare dispose de quatre réglages face aux robots d’IA. Les politiques par comportement (Search, Agent, Training) bloquent au niveau du réseau les robots vérifiés concernés et des robots non vérifiés comparables, selon la documentation du 1er juillet 2026. Le robots.txt géré ajoute une ligne de signaux et huit directives « Disallow » visant des robots d’entraînement, sans effet technique d’après la page du 8 octobre 2026. La Content Signals Policy définit trois signaux, search, ai-input et ai-train, présentés comme des préférences. Pay per Crawl répond par un code HTTP 402 et reste en bêta fermée. Seul le blocage d’un robot de recherche ou d’assistant retire la page de ce que ce robot peut lire.

Points clés

• « Configure AI bot policies » distingue Search, Agent et Training, avec trois options chacun : bloquer partout, bloquer sur les pages avec publicité, ne pas bloquer (documentation, 1er juillet 2026).
• Les catégories AI Search, AI Assistant et AI Crawler restent utilisables ; depuis le 1er juillet 2026, recherche IA et recherche classique relèvent du comportement Search (Verified bots, 8 octobre 2026).
• Le robots.txt géré sert Content-signal: search=yes, ai-train=no, use=reference et Disallow: / pour huit robots, dont GPTBot, ClaudeBot et Google-Extended (documentation, 8 octobre 2026).
• Pay per Crawl est « currently in closed beta » (documentation, 28 juillet 2026) ; prix minimal 0,001 dollar par requête servie.

Que bloque le réglage « AI bots » de Cloudflare ?

Le bouton initial date du 3 juillet 2024 : le billet d’annonce décrit un réglage « AI Scrapers and Crawlers » dans Security > Bots, ouvert à tous les clients.

La documentation mise à jour le 1er juillet 2026 le remplace par des politiques par comportement, sous Security Settings > Configure AI bot policies. Search désigne les robots qui collectent ou indexent le contenu pour répondre plus tard à des questions ; Agent, une activité automatisée en temps réel pour le compte d’une personne ; Training, les robots qui prennent le contenu pour entraîner ou affiner un modèle, y compris les robots à usage mixte. Chaque politique offre trois options, « Block (on all pages) », « Block on pages with ads » et « Allow (do not block) », et chaque blocage vise les robots vérifiés de ce comportement plus des robots non vérifiés comparables.

La page annonce qu’au 15 septembre 2026 l’ancien réglage « Block AI bots », limité aux robots d’entraînement hors usage mixte, est déprécié et que les nouveaux domaines reçoivent par défaut un blocage de Training et d’Agent sur les pages avec publicité, Search restant autorisé. Le billet de Matthew Prince du 1er juillet 2025 annonçait déjà un défaut « to block AI crawlers unless they pay creators for their content », sans détailler les robots ni les formules visés.

Pour la citation : bloquer Training ne touche pas un robot classé en recherche, sauf usage mixte. Bloquer Search ou Agent retire la page de ce que ces robots peuvent lire. La documentation ne dit rien des pages déjà indexées.

Comment Cloudflare classe-t-il les robots vérifiés ?

La page Verified bots du 8 octobre 2026 définit un robot vérifié comme un robot ou un agent transparent sur son identité et son activité. Deux conditions : une identification honnête (signature Web Bot Auth, liste d’adresses IP publiée ou DNS inverse) et un comportement sans abus, qui respecte le robots.txt. La liste approuvée figure dans l’annuaire des robots et agents de Cloudflare Radar.

Chaque robot reçoit un ou plusieurs comportements, Search, Agent ou Training, et les catégories d’origine restent utilisables : AI Search (« Powers AI-driven search experiences »), AI Assistant (« Automated AI bot driven by user action ») et AI Crawler (« Crawls websites for content that is used for training AI models »). Depuis le 1er juillet 2026, recherche IA et recherche classique relèvent toutes deux de Search.

La référence des robots du 23 avril 2026 classe GPTBot et ClaudeBot en AI Crawler ; OAI-SearchBot, Claude-SearchBot et PerplexityBot en AI Search ; ChatGPT-User, Claude-User et Perplexity-User en AI Assistant.

Une règle sur la catégorie AI Crawler épargne donc les robots qu’un moteur envoie lire une page avant de la citer. Le détail côté OpenAI figure dans « OAI-SearchBot, GPTBot, ChatGPT-User : les robots d’OpenAI ».

Que contient le robots.txt géré par Cloudflare ?

Le billet de Reid Tatoris du 1er juillet 2025 présente le robots.txt géré : Cloudflare crée ou met à jour le fichier avec des directives demandant aux opérateurs, Google-Extended et Applebot-Extended compris, de ne pas utiliser le contenu pour l’entraînement, placées avant le fichier existant. Il rappelle que « robots.txt is an honor system. Nothing forces bots to follow it. »

La documentation du 8 octobre 2026 décrit la version actuelle, Bot Preference Sync : les directives sont générées dès qu’une politique est réglée sur Block, Block on pages with ads ou, pour Training, Disallow. L’exemple publié contient Content-signal: search=yes, ai-train=no, use=reference sous User-Agent: *, puis Disallow: / pour Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot et meta-externalagent. Régler Training sur Disallow avec Bot Preference Sync ajoute ces directives et active un blocage en bordure des robots d’entraînement, hors usage mixte. La conformité reste volontaire.

Aucun robot de recherche IA ni d’assistant ne figure dans cette liste : OAI-SearchBot ou PerplexityBot restent libres de lire le site. Le cas de Google et d’Apple est détaillé dans « Google-Extended et Applebot-Extended dans le robots.txt ».

Que sont les Content Signals et quelle est leur syntaxe exacte ?

Le billet de Will Allen du 24 septembre 2025 introduit la Content Signals Policy, un ajout au robots.txt qui exprime des préférences sur l’usage du contenu après son accès. search : construire un index et fournir des résultats, liens et courts extraits, sans les résumés générés par IA. ai-input : fournir le contenu à des modèles, par exemple pour la génération augmentée par récupération ou l’ancrage de réponses de recherche générative. ai-train : entraîner ou affiner des modèles. La syntaxe publiée :

User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

Un signal absent signifie seulement que le fichier n’exprime pas de préférence. Les clients du robots.txt géré, plus de 3,8 millions de domaines au moment du billet, reçoivent search=yes, ai-train=no ; Cloudflare ne sert pas ai-input pour eux. La documentation du 8 octobre 2026 ajoute un champ en test, content-use (use=immediate, use=reference, use=full), et signale que Google Search Console peut afficher « Syntax not understood », sans impact observé sur l’exploration.

Le billet fixe la portée : les signaux expriment des préférences et ne sont pas des contre-mesures techniques ; certaines entreprises peuvent les ignorer. Cloudflare conseille de les associer à des règles WAF et à Bot Management. Pour la citation, le fichier géré n’exprime rien sur ai-input, qui couvre les réponses de recherche générative ; l’éditeur doit écrire ce signal lui-même.

Comment fonctionne Pay per Crawl ?

Le billet de Will Allen du 1er juillet 2025 présente Pay per Crawl, en bêta privée, autour du code HTTP 402 : le robot présente une intention de paiement dans ses en-têtes et obtient un code 200, ou reçoit une réponse « 402 Payment Required » avec un en-tête crawler-price. L’éditeur fixe un prix unique par requête pour tout le site et choisit, robot par robot, entre Allow, Charge et Block. Le robot signe ses requêtes selon Web Bot Auth ; la décision s’applique après les règles WAF et la gestion des robots.

La documentation du 28 juillet 2026 confirme : « Pay per crawl is currently in closed beta. » Le prix se règle dans l’onglet Payments, minimum 0,001 dollar par requête servie, et un seul prix vaut pour tous les robots en mode Charge (FAQ du 23 avril 2026). Hors bêta, la page Manage AI crawlers du 28 juillet 2026 permet, sur les formules payantes, de renvoyer 403 ou 402 lors d’un blocage.

Un robot de recherche qui reçoit 402 et ne paie pas n’obtient pas la page. Les pages consultées ne disent pas quels opérateurs participent à la bêta.

Comment vérifier l’effet dans les journaux et le suivi des citations ?

La page Analyze AI traffic du 23 avril 2026 décrit trois onglets d’AI Crawl Control. Overview affiche les requêtes totales, autorisées, en échec et, sur les formules payantes, les visites renvoyées. Crawlers liste chaque robot avec l’action en cours. Metrics donne la distribution des codes HTTP, dont les 403 de blocage et les 402, avec un regroupement par catégorie ou par opérateur.

L’onglet Directives (page du 23 avril 2026) indique si Cloudflare gère le robots.txt, si le fichier contient des Content Signals, et quels robots ont demandé des chemins interdits, avec la ligne de directive et le nombre de requêtes. Les violations sont calculées contre les règles actuelles, donc une règle ajoutée compte des requêtes antérieures.

La lecture directe des journaux est décrite dans « Repérer les robots d’IA dans les journaux de votre serveur » ; les rapports requêtes de robots sur visites renvoyées, dans « Combien de requêtes les robots d’IA font-ils pour une visite renvoyée ? ».

Le dernier contrôle porte sur les réponses des moteurs. La page de suivi des citations de Citead décrit des questions soumises chaque semaine à ChatGPT, Perplexity, Gemini et Google AI Overviews ; chaque citation du domaine est archivée avec l’extrait et la date, de même que chaque absence. Le suivi constate les citations au moment du relevé et ne prédit pas les citations futures. Nous recommandons de noter la date de chaque changement de réglage et de la rapprocher de cet historique, sans conclure à une cause sur un seul relevé.

Pour aller plus loin

• Lisez « Autoriser ou bloquer GPTBot, ClaudeBot et PerplexityBot : ce que change chaque ligne du robots.txt ».
• Consultez « OAI-SearchBot, GPTBot, ChatGPT-User : les robots d’OpenAI ».
• Poursuivez avec « Repérer les robots d’IA dans les journaux de votre serveur ».
• Pour relier robots, citations et visites, lisez « Robots d’IA, citations et visites : suivre de bout en bout ce que les moteurs de réponse font de votre site ».