En bref. Baidu documente les chaînes Baiduspider-render/2.0 pour PC et mobile utilisées pour les requêtes de ressources de rendu.
Définition : Baidu présente
Baiduspider-render/2.0comme l’agent utilisateur (user-agent) de rendu chargé de demander les ressources CSS et JavaScript ainsi que les images d’une page. Les chaînes documentées comportent des formes distinctes pour PC et mobile.
Points clés
- Dans son annonce du robot de rendu, publiée le 24 mars 2017, Baidu indique que Baidu Search doit accéder aux ressources CSS et JavaScript ainsi qu’aux images pour comprendre et présenter les pages avec plus de précision.
- Les chaînes pour PC et mobile contiennent toutes deux
Baiduspider-render/2.0; la chaîne mobile contient aussi une signature de navigateur iPhone et Safari. - Un point de Baidu sur le déploiement, daté du 7 juin 2017, indique que l’agent utilisateur de rendu couvrait tout le trafic mobile, tandis que la couverture sur PC restait partielle.
- Le guide d’identification des robots de Baidu indique que les agents utilisateurs constituent un élément d’identification et recommande une vérification DNS dans les deux sens pour l’adresse IP source et le nom d’hôte.
Quelles chaînes Baidu documente-t-il pour les requêtes ?
L’annonce de 2017 présente les formes suivantes comme les agents utilisateurs les plus récents pour les requêtes sur PC et mobile :
PC: Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
Mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
Baidu indique que l’agent utilisateur de rendu accède aux informations CSS et JavaScript du site ainsi qu’aux images. La même annonce précise qu’à partir du 24 mars 2017, Baidu a sélectionné certains sites de qualité pour un test d’exploration et a averti que ce test pouvait accroître la charge sur les serveurs des sites.
Quel état du déploiement Baidu a-t-il publié ?
Le point de juin 2017 indique que Baidu a introduit l’agent utilisateur de rendu en test interne sur mobile et PC en mars 2017. Il précise que la version mobile a ensuite été étendue à l’ensemble du trafic, tandis que la couverture sur PC restait incomplète. Pour les propriétaires de sites pour PC, cette publication recommande de maintenir les contenus utiles aux moteurs de recherche et aux utilisateurs accessibles sans chargement par JavaScript, en raison d’un risque de perte d’indexation.
Cette indication sur le déploiement est datée. Elle décrit l’état documenté en juin 2017 et ne fournit ni chaîne de remplacement ultérieure ni volume actuel de requêtes.
En quoi ces requêtes diffèrent-elles des autres requêtes Baiduspider ?
La présentation du robot de Baidu définit Baiduspider comme un programme automatisé qui visite les pages Web et constitue une base de données d’indexation. Elle répertorie Baiduspider pour la recherche sur le Web et sur mobile, et nomme des agents propres à certains produits, tels que Baiduspider-image, Baiduspider-video et Baiduspider-news. Le marqueur de rendu est donc l’élément utile à repérer dans les chaînes documentées lorsqu’une entrée de journal concerne le rendu des ressources.
Le même guide indique que Baiduspider suit le protocole robots d’Internet et présente une règle qui bloque le marqueur ordinaire Baiduspider :
User-agent: Baiduspider
Disallow: /
Cet exemple désigne le Baiduspider ordinaire. L’annonce sur le rendu demande séparément aux propriétaires de sites d’éviter de bloquer l’agent utilisateur de rendu pendant le test de 2017.
Comment un site peut-il vérifier une requête ?
Le guide d’identification des agents utilisateurs de Baidu, publié en 2019, indique que la plage d’adresses IP change et n’est pas publiée sous forme de liste fixe. Il recommande une résolution DNS inverse de l’adresse IP figurant dans le journal d’accès, la vérification que le nom d’hôte Baiduspider utilise *.baidu.com ou *.baidu.jp, puis une résolution DNS directe pour confirmer que le nom d’hôte renvoie à l’adresse IP d’origine. Le guide fournit les commandes suivantes dans son exemple :
host 111.206.198.69
host baiduspider-111-206-198-69.crawl.baidu.com
La chaîne d’agent utilisateur constitue un premier filtre. Les contrôles DNS ajoutent les étapes de vérification décrites par Baidu pour distinguer un robot Baidu d’une imitation.
Termes associés
Questions fréquentes
Baiduspider/2.0 et Baiduspider-render/2.0 sont-ils la même chaîne ?
Non. Le guide de Baidu de 2019 répertorie les deux formes pour les contextes PC et mobile. La forme de rendu comprend le marqueur -render, tandis que la forme ordinaire utilise Baiduspider/2.0.
Un site doit-il autoriser l’agent utilisateur de rendu ?
L’annonce de Baidu sur le rendu demande aux propriétaires de sites d’éviter de bloquer le nouvel agent utilisateur pendant son test de 2017. Consultez les journaux d’accès et utilisez la procédure DNS du guide d’identification de Baidu avant de considérer une requête comme authentique.
Sources
- Baidu Search Resource Platform, « 百度Spider新增渲染抓取UA公告 », 24 mars 2017
- Baidu Search Resource Platform, « 百度Spider渲染UA在移动端全流量上线 », 7 juin 2017
- Baidu Search Resource Platform, « 百度spider介绍 », 24 avril 2013
- Baidu Search Resource Platform, « 【官方说法】只需两步，正确识别百度蜘蛛（User-Agent） », 20 mai 2019
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO