En bref. Sélectionnez Allow pour le robot souhaité dans AI Crawl Control, puis vérifiez les règles de sécurité en conflit et les indicateurs de réponse du robot.

Définition : En octobre 2026, Cloudflare AI Crawl Control propose une action Allow pour chaque robot d’exploration IA (crawler) dans son tableau Crawlers. La sélection d’Allow autorise l’accès au niveau de ce contrôle, tandis que d’autres règles de sécurité peuvent encore bloquer les requêtes du robot.

Points clés

Le guide de configuration de Cloudflare exige un domaine connecté dont le trafic passe par le proxy Cloudflare.
La documentation de gestion des robots indique aux propriétaires de sites de sélectionner Allow dans la colonne Actions du robot choisi.
La documentation d’intégration au WAF de Cloudflare précise que la règle AI Crawl Control inclut les robots bloqués ; un robot autorisé peut encore rencontrer une autre règle de sécurité.
La documentation d’analyse du trafic définit les Allowed requests comme les requêtes ayant reçu une réponse de succès avec un code de statut 200-299.

Où se trouve le réglage Allow propre à chaque robot ?

Le guide de gestion des robots IA de Cloudflare commence par la sélection d’un compte et d’un domaine dans le tableau de bord, puis l’ouverture d’AI Crawl Control. Le tableau Crawlers identifie chaque robot et son opérateur, l’entreprise qui en est responsable. Les filtres Name et Operator permettent de retrouver le robot souhaité.

Pour le robot choisi, sélectionner Allow dans la colonne Actions définit sa politique d’accès. Chaque robot dispose d’une action individuelle : les lignes des autres robots peuvent donc rester sur Block. Selon le même guide, il est également possible d’imposer le respect du fichier de directives robots.txt tout en sélectionnant Allow. Cette application des directives reste un choix distinct.

Le guide d’analyse de Cloudflare situe les commandes Allow et Block dans l’onglet Crawlers. Sa colonne Action affiche le réglage actuel du contrôle d’accès, ce qui permet de vérifier la ligne sélectionnée après une modification.

Que change Allow pour les requêtes entrantes ?

Un pare-feu applicatif web (Web Application Firewall, WAF) filtre les requêtes entrantes à l’aide de règles. Le guide d’intégration au WAF de Cloudflare explique qu’AI Crawl Control utilise une règle WAF personnalisée pour les robots dont le blocage est sélectionné. Allow laisse un robot en dehors de la sélection bloquée par cette règle. Les autres règles de sécurité continuent de s’appliquer.

Si un robot autorisé reste bloqué, le même guide indique aux propriétaires de sites d’examiner les règles WAF personnalisées exécutées en amont. La règle AI Crawl Control porte le nom AI Crawl Control. Son emplacement documenté dans le tableau de bord est :

Security > Security rules

Le filtre Custom rules permet de la retrouver. Une autre règle bloquant tous les robots peut entrer en conflit avec la politique souhaitée pour le robot. Cloudflare recommande de repérer et de modifier les règles personnalisées en conflit. Placer la règle AI Crawl Control plus tôt dans l’ordre d’exécution n’exempte pas, à lui seul, un robot autorisé d’une autre règle de blocage.

Comment vérifier le résultat des requêtes ?

Le guide d’analyse du trafic de Cloudflare décrit l’option View Metrics du menu d’actions de chaque robot. La sélectionner filtre l’onglet Metrics sur ce robot. Les filtres de période, de nom d’hôte et de chemin permettent de restreindre les requêtes examinées.

Le graphique Status code distribution distingue les réponses de succès, les redirections, les erreurs côté client et les erreurs côté serveur. L’indicateur Allowed requests compte les réponses dont le code de statut est 200-299. Il mesure ainsi le résultat des requêtes, en complément de la politique d’accès affichée sur la ligne du robot.

Le guide de gestion des robots précise que les requêtes en échec peuvent résulter de n’importe quelle règle ou erreur de réponse. Un nombre de requêtes en échec nécessite donc d’examiner les règles et les réponses concernées avant de l’attribuer au réglage Action du robot.

Termes associés

Questions fréquentes

Puis-je autoriser un robot tout en bloquant les autres ?

Oui. Le guide de gestion des robots de Cloudflare prévoit un choix Allow ou Block distinct pour chaque robot. Vous pouvez sélectionner Allow pour le robot souhaité et laisser les autres lignes sur Block.

Pourquoi mon robot reste-t-il bloqué après la sélection d’Allow ?

Les instructions de dépannage du WAF de Cloudflare désignent les règles personnalisées exécutées en amont comme une cause possible de blocage des robots autorisés. Vous pouvez examiner ces règles dans Security > Security rules, en appliquant le filtre Custom rules.

Où puis-je comparer le réglage aux requêtes réussies ?

La documentation d’analyse de Cloudflare indique le réglage actuel dans la colonne Action du tableau Crawlers. Vous pouvez sélectionner View Metrics pour ce robot afin d’examiner les Allowed requests et la répartition des codes de réponse.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment autoriser un robot d’exploration dans Cloudflare AI Crawl Control ?