Quels champs des journaux HTTP Cloudflare aident à identifier les requêtes des robots d’exploration IA ?

L'équipe Citead, mis à jour le

En bref. Utilisez ClientRequestUserAgent avec les champs de classification des robots disponibles, puis consultez les champs de réponse du réseau périphérique et du serveur d’origine pour examiner le résultat de la requête.

Définition : Les journaux de requêtes HTTP de Cloudflare associent l’agent utilisateur (user agent) déclaré par le client à des champs de classification des robots et à des informations sur les réponses. En octobre 2026, les champs utiles comprennent ClientRequestUserAgent, VerifiedBotCategory et, pour les clients de Bot Management, BotScore, BotScoreSrc et BotTags.

Points clés

Quels champs décrivent la requête ?

La référence des champs HTTP Requests présente les champs suivants pour identifier les requêtes et leurs cibles :

ChampSignification
ClientRequestUserAgentIl consigne l’agent utilisateur déclaré par le client.
ClientIPIl consigne l’adresse IP du client.
ClientRequestHostIl consigne l’hôte demandé.
ClientRequestURIIl comprend le chemin et la chaîne de requête.
ClientRequestPathIl comprend le chemin sans la chaîne de requête.
EdgeStartTimestampIl consigne le moment où le réseau périphérique (edge) reçoit la requête.
RayIDIl identifie la requête.

La documentation de Cloudflare sur la validation IP décrit une vérification reposant sur la liste publique des adresses IP du propriétaire du robot ou sur le DNS inverse, associée à un motif de correspondance de l’agent utilisateur. Une correspondance de l’agent utilisateur constitue donc un premier signal de classification ; la validation vérifie aussi l’origine réseau de la requête.

Comment interpréter la classification des robots ?

Un robot vérifié est un robot ou un agent dont Cloudflare a contrôlé l’identité et le comportement. La documentation des robots vérifiés décrit AI Crawler comme une catégorie historique regroupant les robots d’exploration destinés à l’entraînement des modèles, AI Assistant comme une catégorie de robots agissant à l’initiative d’un utilisateur, et AI Search comme une catégorie de services de recherche par IA.

La même documentation décrit une taxonomie introduite le 1er juillet 2026. Elle regroupe l’exploration destinée à la recherche sous le comportement Search, qui comprend la recherche traditionnelle et la recherche par IA, et conserve AI Search pour assurer la compatibilité avec les règles existantes. Un filtrage limité à la valeur historique AI Crawler écarte donc d’autres rôles liés à l’IA décrits dans la documentation.

La référence des champs définit VerifiedBotCategory comme la catégorie du robot vérifié. BotScore mesure le degré d’automatisation, les scores inférieurs à 30 étant couramment associés au trafic automatisé ; BotScoreSrc identifie le moteur de détection. Ces deux champs de score nécessitent Bot Management.

Le guide des étiquettes de robots de Cloudflare indique que BotTags apporte des précisions sur l’attribution du score et peut décrire un robot vérifié ou une catégorie. Ses exemples comprennent google et bing.

Comment sélectionner les champs et vérifier les réponses ?

Le guide de configuration de l’API de Cloudflare sélectionne les champs exportés au moyen de output_options.field_names. Cet extrait JSON présente une sélection pour une tâche existante, sous réserve de la disponibilité des champs :

{
  "output_options": {
    "field_names": [
      "ClientRequestUserAgent",
      "ClientIP",
      "ClientRequestHost",
      "ClientRequestURI",
      "VerifiedBotCategory",
      "BotScore",
      "BotScoreSrc",
      "BotTags",
      "EdgeStartTimestamp",
      "RayID",
      "EdgeResponseStatus",
      "OriginResponseStatus",
      "EdgeResponseBytes",
      "SecurityAction"
    ]
  }
}

La référence des champs définit EdgeResponseStatus comme le code de statut renvoyé au client par Cloudflare et OriginResponseStatus comme le code de statut reçu en amont. EdgeResponseBytes consigne le nombre d’octets renvoyés au client ; SecurityAction consigne, lorsqu’elle existe, l’action d’une règle de sécurité qui met fin au traitement.

Termes associés

FAQ

Comment vérifier la liste des champs d’une zone ?

Le guide des jeux de données de Cloudflare présente ce point de terminaison, où http_requests remplace le nom du jeu de données :

https://api.cloudflare.com/client/v4/zones/{zone_id}/logpush/datasets/http_requests/fields

Un code de statut d’origine égal à zéro signifie-t-il que le robot d’exploration a reçu une erreur ?

La référence HTTP Requests indique qu’une valeur OriginResponseStatus de 0 signifie qu’aucune réponse du serveur d’origine n’a été reçue et que le réseau périphérique de Cloudflare a servi la réponse, avec une réserve concernant les sous-requêtes Workers. Vous pouvez consulter EdgeResponseStatus pour connaître le code de statut envoyé au client.

Sources

  1. Cloudflare, « HTTP Requests », 14 septembre 2026
  2. Cloudflare, « Verified bots », 8 octobre 2026
  3. Cloudflare, « Bot tags », 16 septembre 2026
  4. Cloudflare, « Datasets », 23 avril 2026
  5. Cloudflare, « IP validation », 15 avril 2026
  6. Cloudflare, « API configuration », 21 septembre 2026

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Testez une page et voyez quoi corriger en premier

L'analyse prend en général moins de 10 secondes et ne demande pas de compte.

400 000+ pages notées dans le benchmark public