En bref. Examinez le tableau des violations de Directives, puis appliquez un blocage par robot ou une règle WAF personnalisée propre à un chemin et vérifiez l’ordre de priorité des règles.

Définition : Au 17 octobre 2026, faire respecter les directives avec Cloudflare AI Crawl Control consiste à appliquer des règles de blocage des requêtes aux robots d’exploration (crawlers) identifiés dans son rapport de violations de robots.txt. Le pare-feu applicatif web de Cloudflare (Web Application Firewall, WAF), qui filtre les requêtes entrantes à l’aide de règles, assure ce blocage.

Points clés

La documentation « Directives » de Cloudflare décrit un tableau des violations qui compare les directives robots.txt actuelles aux requêtes passées des robots d’exploration.
Le guide de gestion des robots d’exploration de Cloudflare explique que sélectionner Block crée ou met à jour une règle personnalisée du WAF pour le domaine.
Le guide d’intégration au WAF de Cloudflare précise que le blocage de plusieurs robots via AI Crawl Control utilise une seule règle personnalisée du WAF.

Où se trouve le rapport de conformité ?

Après sélection du compte et du domaine, le chemin d’accès au rapport indiqué dans la documentation « Directives » de Cloudflare est le suivant :

AI Crawl Control > Directives > Robots.txt violations

Chaque ligne indique le robot et son opérateur, le chemin demandé, la directive exacte qui restreint l’accès à ce chemin et le nombre de requêtes sur la période sélectionnée. Des filtres permettent de limiter le rapport à un robot, un opérateur, un cas d’usage ou une période.

La comparaison utilise le fichier actuel. L’ajout d’une directive Disallow peut donc signaler des requêtes antérieures qui étaient autorisées au moment de leur exécution. Examiner l’historique des modifications de la directive en regard de la période sélectionnée aide à interpréter ces lignes.

Comment créer une règle de blocage ?

Pour bloquer toutes les requêtes d’un robot, le guide de gestion des robots d’exploration de Cloudflare indique de sélectionner Block dans la colonne Actions du robot. Cette action crée ou met à jour la règle personnalisée du WAF du domaine. Avec l’offre Free, la détection repose sur les chaînes user-agent, les identifiants que les robots envoient avec leurs requêtes.

Pour limiter la restriction au chemin signalé, la documentation « Directives » recommande une règle WAF propre à ce chemin. Le guide de création d’une règle personnalisée de Cloudflare décrit la procédure dans le tableau de bord :

Ouvrir Security rules, puis Create rule > Custom rules, et saisir un nom de règle descriptif.
Dans When incoming requests match, configurer les conditions portant sur le robot et le chemin à l’aide de Field, Operator et Value.
Dans Then take action, choisir Block pour refuser les requêtes qui correspondent aux conditions.
Sélectionner Deploy pour activer la règle, ou Save as Draft pour la conserver en vue d’une révision.

Le même guide prévoit une validation avec Log pour les offres Enterprise. Pour les autres offres, il recommande de commencer par Managed Challenge, d’examiner les correspondances dans Security Events, puis de passer à Block.

Qu’est-ce qui peut perturber l’application du blocage ?

Le guide d’intégration au WAF de Cloudflare situe la règle générée dans Security > Security rules, avec le filtre Custom rules. Elle porte le nom AI Crawl Control.

La règle est ajoutée après les règles personnalisées existantes. Des règles Skip placées avant elle et qui contournent les règles personnalisées peuvent perturber le blocage. Lorsque des robots bloqués accèdent encore au contenu, Cloudflare recommande de déplacer la règle AI Crawl Control en tête de liste pour résoudre le problème.

Des modifications directes permettent d’ajouter des exceptions par chemin ou des restrictions par nom d’hôte. Ces modifications sont conservées lorsque les actions appliquées aux robots changent, mais le tableau de bord ne reflète pas les modifications directes du WAF. Une expression qu’AI Crawl Control ne peut pas analyser produit un avertissement accompagné de View rule in WAF.

Termes associés

FAQ

Pourquoi ma nouvelle directive signale-t-elle d’anciennes requêtes ?

La documentation « Directives » de Cloudflare compare les requêtes passées à votre fichier robots.txt actuel. Une nouvelle restriction peut modifier les requêtes historiques qui apparaissent dans le rapport.

Une requête en échec prouve-t-elle que mon blocage fonctionne ?

Le guide de gestion des robots d’exploration de Cloudflare indique que les requêtes en échec peuvent résulter de n’importe quelle règle ou erreur de réponse. Examinez la règle de sécurité correspondante lorsque vous vérifiez l’application de votre blocage.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment faire respecter les directives robots.txt avec Cloudflare AI Crawl Control ?