En bref. Examiner l’événement de sécurité correspondant et la réponse permet de déterminer si Cloudflare a bloqué la requête d’un robot d’exploration IA ou l’a soumise à une vérification.

Définition : Vérifier un blocage par un réseau de diffusion de contenu (content delivery network, CDN) consiste à retrouver la requête du robot d’exploration dans les journaux de sécurité et à identifier l’action appliquée. Dans Cloudflare, les éléments utiles réunissent les détails de la requête, la règle de sécurité responsable et la réponse renvoyée.

Points clés

Au 17 octobre 2026, la documentation AI Crawl Control de Cloudflare indique que les requêtes infructueuses peuvent résulter de toute règle ou erreur de réponse, y compris de causes extérieures au paramètre de blocage des robots.
Un pare-feu applicatif web (web application firewall, WAF) filtre les requêtes entrantes à l’aide de règles. La documentation d’intégration de Cloudflare explique qu’un robot réglé sur Allow peut encore subir un blocage par des règles de sécurité exécutées en amont.
La documentation de Cloudflare sur les pages de vérification (Challenge Page) identifie les réponses de vérification par l’en-tête cf-mitigated dont la valeur est challenge.

Par où commencer l’analyse ?

Le guide de démarrage de Cloudflare exige que le trafic du domaine passe par le proxy de Cloudflare. Avec les offres gratuites, l’onglet Metrics affiche les 24 dernières heures : l’analyse commence donc dans cette fenêtre.

Dans le tableau de bord, le compte et le domaine sont sélectionnés avant l’ouverture d’AI Crawl Control. Le guide d’analyse du trafic de Cloudflare décrit les filtres par période, robot, opérateur, nom d’hôte et chemin. Filtrer sur la page et le robot concernés permet de centrer l’examen sur le problème d’accès signalé.

La colonne Action de l’onglet Crawlers affiche le réglage actuel, Allow ou Block. Dans Metrics, All requests inclut les requêtes bloquées et les réponses d’erreur ; Allowed requests comptabilise les réponses dont le code d’état est compris dans la plage 200-299. Ces vues établissent les résultats observés et la configuration actuelle avant l’examen de chaque événement.

Quel événement de sécurité explique le résultat ?

Le guide Security Events de Cloudflare situe les événements de la zone dans Analytics, puis dans l’onglet Events. Les filtres précisent la période et les propriétés des requêtes. Sampled logs répertorie l’action appliquée et la fonctionnalité de sécurité concernée. Développer l’événement correspondant révèle ses détails ; Export event JSON enregistre les éléments à examiner.

Un Ray ID est l’identifiant de requête de Cloudflare. La documentation sur le Ray ID explique comment filtrer Security Events sur cet identifiant et examiner les informations de requête associées. Faire correspondre le Ray ID, l’heure, le chemin et l’adresse du client aide à relier une réponse signalée à l’événement. L’échantillonnage peut omettre des événements : en l’absence de résultat, la recherche porte sur une période plus courte.

Le guide d’intégration du WAF de Cloudflare précise que la règle sous-jacente s’appelle AI Crawl Control et se trouve dans Security > Security rules, avec le filtre Custom rules. Comparer la règle de l’événement à cette règle permet de distinguer un blocage d’AI Crawl Control de l’action d’une autre règle de sécurité.

Comment interpréter la réponse ?

Avec les offres payantes, les paramètres de réponse au blocage de Cloudflare permettent de configurer le code et le corps de la réponse renvoyée à un robot bloqué. Les codes proposés dans la documentation sont 403 Forbidden et 402 Payment Required. L’événement de sécurité correspondant fournit le contexte nécessaire pour attribuer cette réponse à une règle du CDN.

Pour une vérification, la documentation de Cloudflare sur la détection des réponses spécifie cet en-tête de réponse :

cf-mitigated: challenge

La même documentation indique que le type de contenu de la vérification est text/html, quelle que soit la ressource demandée. Ce marqueur identifie une Challenge Page renvoyée à la place de la réponse attendue. Un événement portant l’action Block et un événement portant l’action Managed Challenge appellent donc des diagnostics différents.

Termes associés

Questions fréquentes

Pourquoi des requêtes restent-elles bloquées avec le réglage Allow ?

Le guide d’intégration du WAF de Cloudflare indique que des règles personnalisées exécutées en amont peuvent bloquer un robot autorisé. Vous pouvez examiner l’événement correspondant et ces règles avant de modifier le réglage du robot.

Le nom attribué à un robot permet-il de vérifier son identité ?

Pour les offres gratuites, le guide de démarrage de Cloudflare indique que la détection utilise les chaînes user-agent, les en-têtes de requête qui identifient le logiciel client. Si vous utilisez cette offre, considérez ce nom comme une identification fondée sur l’en-tête fourni ; Cloudflare décrit une détection plus approfondie à l’aide des identifiants de détection de Bot Management dans les offres supérieures.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment vérifier si un CDN a bloqué un robot d’exploration IA ?