En bref. Consultez Cloudflare Radar pour les listes à jour des robots vérifiés et AI Crawl Control pour examiner l’identité des robots et leur activité sur un site.
Définition : En octobre 2026, le référentiel Bot reference d’AI Crawl Control de Cloudflare répertorie une sélection de robots d’exploration (crawlers), avec leurs opérateurs, catégories, identifiants de détection et user-agents. Il renvoie vers l’annuaire Cloudflare Radar Bots Directory pour la liste à jour des robots vérifiés, c’est-à-dire approuvés à l’issue du processus de vérification de Cloudflare.
Points clés
- La présentation d’AI Crawl Control de Cloudflare décrit le suivi de l’activité des robots et la définition de règles d’accès individuelles.
- Le référentiel Bot reference renvoie vers Radar pour la liste à jour des robots vérifiés.
- La documentation de Cloudflare sur les robots distingue les comportements Search, Agent et Training ; un robot peut avoir plusieurs comportements.
- La documentation sur l’analyse du trafic décrit un onglet Crawlers qui affiche les noms, les opérateurs, le nombre total de requêtes et les paramètres d’accès.
Quel référentiel utiliser pour un site web ?
L’annuaire Cloudflare Radar Bots Directory est l’outil public de consultation vers lequel renvoie AI Crawl Control. La documentation de BotBase de Cloudflare explique que les robots suivis dans BotBase et certaines de leurs métadonnées sont accessibles publiquement via Radar. BotBase propose également un annuaire consultable par recherche dans le tableau de bord pour les clients Enterprise Bot Management.
Le tableau Bot reference d’AI Crawl Control fournit des exemples précis : GPTBot d’OpenAI appartient à la catégorie AI Crawler, ChatGPT-User à AI Assistant et OAI-SearchBot à AI Search. Un user-agent est la chaîne d’identification qu’un robot présente dans ses requêtes. Le tableau donne les chaînes suivantes pour ces exemples :
GPTBot
ChatGPT-User
OAI-SearchBot
Ces noms servent de points de départ pour rechercher chaque robot et comparer sa fiche au trafic observé.
Comment les catégories s’articulent-elles avec la classification actuelle ?
La documentation Verified bots de Cloudflare date la nouvelle taxonomie du 1er juillet 2026. La recherche traditionnelle et la recherche par IA relèvent du même comportement Search. La catégorie AI Search reste disponible pour assurer la compatibilité avec les règles existantes, et les nouveaux robots de recherche reçoivent la classification Search.
La documentation sur les robots définit les comportements actuels liés à l’IA :
| Comportement | Finalité documentée |
|---|---|
| Search | Collecte ou indexation de contenu pour répondre à des questions ultérieures. |
| Agent | Activité effectuée en temps réel pour le compte d’une personne, notamment par des robots qui récupèrent du contenu pour les conversations et des agents de navigation. |
| Training | Collecte de contenu pour l’entraînement ou l’ajustement fin (fine-tuning) d’un modèle. |
La même documentation autorise plusieurs comportements par robot. La lecture de la fiche de chaque robot et de ses libellés de comportement permet de distinguer les différents usages qu’un opérateur fait du contenu d’un site.
Quel lien entre l’annuaire et les requêtes reçues par un site ?
Le guide Analyze AI traffic de Cloudflare indique aux titulaires de compte de sélectionner un compte et un domaine, puis d’ouvrir AI Crawl Control. Le menu d’actions de l’onglet Crawlers comprend View on Cloudflare Radar et Copy User Agent. L’action View Metrics filtre les données d’analyse sur le robot sélectionné.
Le guide de gestion des robots décrit le filtrage par nom, opérateur ou catégorie. Il précise également que, dans l’offre Free, l’identification repose sur les chaînes user-agent. Ce point compte lors de la comparaison entre le nom d’un robot reconnu et l’activité attribuée à ce nom sur un site donné.
Termes associés
- Comment activer Cloudflare AI Crawl Control ?
- Comment autoriser un robot d’exploration dans Cloudflare AI Crawl Control ?
- GPTBot
- OAI-SearchBot
Questions fréquentes
Où chercher un robot absent du tableau de référence ?
Consultez Radar : le référentiel Bot reference de Cloudflare présente son tableau comme une sélection et renvoie vers l’annuaire à jour des robots vérifiés.
Ai-je besoin d’Enterprise Bot Management pour consulter Radar ?
La documentation de BotBase de Cloudflare présente l’annuaire de Radar comme public. Enterprise Bot Management est nécessaire pour accéder à BotBase dans le tableau de bord.
Sources
- Cloudflare, « AI Crawl Control », mis à jour le 14 août 2026
- Cloudflare, « Bot reference », mis à jour le 23 avril 2026
- Cloudflare, « BotBase », mis à jour le 8 octobre 2026
- Cloudflare, « Verified bots », mis à jour le 8 octobre 2026
- Cloudflare, « Bots », mis à jour le 1er juillet 2026
- Cloudflare, « Analyze AI traffic », mis à jour le 23 avril 2026
- Cloudflare, « Manage AI crawlers », mis à jour le 28 juillet 2026
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO