En bref. Cloudflare associe Bytespider à ByteDance, documente ses chaînes d’identification et décrit l’évolution historique du trafic d’exploration observé.

Définition : Bytespider est un nom de robot d’exploration (crawler) que Cloudflare associe à ByteDance. Cloudflare Radar répertorie les user-agents contenant Bytespider dans la fiche du robot de recherche vérifié Toutiao, tandis que la documentation de référence d’AI Crawl Control de Cloudflare classe Bytespider parmi les robots d’exploration pour l’IA.

Points clés

Au 17 octobre 2026, la fiche Toutiao de Cloudflare Radar décrit un robot d’agrégation automatique d’actualités et affiche des user-agents HTTP contenant Bytespider.
La documentation « Bot reference » de Cloudflare, mise à jour le 23 avril 2026, indique ByteDance comme opérateur, Bytespider comme user-agent et 33563853 comme identifiant de détection.
Dans son analyse des robots d’exploration de juillet 2025, Cloudflare constate une baisse de 85 % du volume de requêtes de Bytespider entre mai 2024 et mai 2025.
Le protocole d’exclusion des robots (Robots Exclusion Protocol) de l’IETF définit les règles du fichier robots.txt comme des instructions que les robots sont invités à respecter ; ces règles ne constituent pas une autorisation d’accès.

Comment Bytespider est-il identifié ?

Un user-agent est une chaîne d’identification envoyée avec une requête web. La fiche vérifiée de Toutiao dans Radar fournit cet exemple :

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

La fiche nomme Bytedance comme opérateur, attribue la catégorie Search (recherche) et indique un accès direct, ce qui signifie que l’opérateur contrôle l’activité du robot. Elle renvoie également à la documentation de Toutiao destinée aux webmasters.

La documentation de référence d’AI Crawl Control, distincte de cette fiche, place Bytespider dans la catégorie AI Crawler (robot d’exploration pour l’IA). Ces libellés sont importants pour décrire une requête : la chaîne Bytespider apparaît dans des documentations qui couvrent aussi bien l’exploration pour la recherche que pour l’IA.

La documentation de Cloudflare sur la validation des adresses IP, mise à jour le 15 avril 2026, décrit une vérification à partir d’une liste publique d’adresses IP fournie par l’opérateur ou du DNS inverse fondé sur le domaine, qui vérifie le nom de domaine associé à une adresse IP. Une simple correspondance du user-agent fournit donc moins d’éléments d’identification que cette procédure de vérification.

Quel trafic Cloudflare observe-t-il ?

L’analyse de Cloudflare publiée le 1er juillet 2025 compare une cohorte de plus de 30 robots d’exploration pour l’IA et la recherche observés sur son réseau. Au sein de cette cohorte, la part de Bytespider passe de 22,8 % en mai 2024 à 2,9 % en mai 2025. Son volume brut de requêtes baisse de 85 % sur la même période de comparaison.

L’article présente également une comparaison limitée aux robots d’exploration pour l’IA, fondée sur la mise en correspondance des noms de robots avec les chaînes user-agent des requêtes HTTP. Dans ce groupe plus restreint, le tableau attribue à Bytespider une part de 42 % en mai 2024 et de 7,2 % en mai 2025. Le dénominateur doit accompagner chacune de ces séries de chiffres : le trafic limité aux robots pour l’IA et la cohorte réunissant les deux catégories de robots produisent des parts différentes.

Ces chiffres décrivent le trafic historique observé sur le réseau de Cloudflare au sein des groupes de robots indiqués.

Quels moyens de contrôle sont documentés ?

La documentation « Bot reference » de Cloudflare indique que les clients de Bot Management peuvent utiliser cf.bot_management.detection_ids dans les règles du pare-feu applicatif web (WAF). Elle documente aussi le filtrage par correspondance du user-agent dans robots.txt ou dans les règles de pare-feu pour les autres offres.

Le fichier robots.txt communique des règles d’exploration pour les chemins d’URL. Selon la RFC 9309, la protection de l’accès nécessite une mesure de sécurité adaptée à l’application. Pour un site web qui détermine comment traiter les requêtes de Bytespider, cette distinction sépare une instruction d’exploration du contrôle d’accès assuré par un pare-feu.

Termes associés

Questions fréquentes

Quelle entreprise exploite Bytespider ?

La documentation de référence d’AI Crawl Control de Cloudflare identifie ByteDance comme opérateur. Radar utilise la graphie Bytedance dans sa fiche Toutiao.

Quel pourcentage de trafic dois-je utiliser ?

Utilisez le pourcentage avec sa période de mesure et le groupe de robots concerné. L’analyse de Cloudflare de juillet 2025 indique des parts différentes pour le trafic limité aux robots pour l’IA et pour sa cohorte réunissant les robots pour l’IA et la recherche.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO