Comment distinguer les visites de Baiduspider pour ordinateur et pour mobile dans les journaux ?

Définition : Dans les journaux du serveur (logs), les visites de Baiduspider pour ordinateur et pour mobile partagent le même nom de robot d’exploration dans l’en-tête User-Agent. Les consignes de Baidu du 25 mai 2019 indiquent de repérer d’abord Baiduspider, puis de classer une requête comme mobile si elle contient le marqueur Android ou Mobile ; un modèle documenté pour ordinateur ne contient aucun de ces deux marqueurs. Les consignes d’identification de Baidu décrivent cette règle.

Points clés

• Baidu indique que les chaînes User-Agent de ses robots pour mobile et pour PC sont unifiées sous Baiduspider/2.0 et contiennent toutes le mot-clé Baiduspider. La même page fournit des exemples en PHP et en ASP qui convertissent l’en-tête en minuscules avant de le tester. Ces exemples figurent dans l’article de Baidu du 25 mai 2019.
• L’article de Baidu sur l’identification publié en 2019 répertorie les chaînes User-Agent pour mobile, pour PC et pour les mini-programmes. Ses exemples pour mobile contiennent Android ou Mobile ; ses exemples pour PC utilisent soit Baiduspider/2.0, soit Baiduspider-render/2.0. Ces chaînes figurent dans l’article de Baidu sur la vérification du User-Agent.
• Baidu recommande une authentification par vérification DNS dans les deux sens après le contrôle du User-Agent. Le nom d’hôte obtenu par résolution inverse doit correspondre à *.baidu.com ou à *.baidu.jp, et une résolution directe doit renvoyer l’adresse IP de la requête d’origine, selon les consignes de Baidu sur la recherche mobile.

Quels marqueurs distinguent le mobile de l’ordinateur dans les journaux ?

Selon la règle des exemples de code de Baidu, l’analyseur commence par convertir le User-Agent en minuscules et y recherche baiduspider. Une correspondance contenant android ou mobile est classée comme mobile. Une correspondance avec Baiduspider qui ne contient aucun de ces deux marqueurs suit la branche PC de l’exemple. Le libellé render ne suffit pas à lui seul, car Baidu répertorie Baiduspider-render/2.0 dans ses exemples pour mobile comme dans ceux pour PC.

Voici les chaînes User-Agent présentées dans l’article de Baidu sur l’identification :

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

Les deux premiers exemples comportent des marqueurs d’appareil mobile. Les deux derniers montrent pourquoi un analyseur doit tester les marqueurs d’appareil après le nom commun du robot.

Comment vérifier dans les journaux que le visiteur est le robot de Baidu ?

La procédure de vérification de Baidu part de l’adresse IP source consignée dans le journal d’accès. Une résolution DNS inverse doit produire un nom d’hôte se terminant par baidu.com ou baidu.jp ; l’exemple de la documentation utilise la commande host sur l’adresse IP. Une résolution directe du nom d’hôte est ensuite effectuée, puis l’adresse obtenue est comparée à l’adresse IP d’origine.

host 111.206.198.69
host baiduspider-111-206-198-69.crawl.baidu.com

Les deux résolutions sont distinctes de la classification entre mobile et ordinateur. Elles établissent si la requête satisfait au contrôle du nom d’hôte et de l’adresse documenté par Baidu. La chaîne User-Agent fournit donc un libellé dans les journaux, tandis que le résultat DNS constitue l’étape d’authentification décrite par Baidu.

Que signifie ce nom commun pour les règles robots ?

Les anciennes consignes de Baidu sur la recherche mobile précisent qu’une restriction robots visant Baiduspider s’applique simultanément aux requêtes pour PC et pour mobile. L’identifiant de produit commun ne permet donc pas d’autoriser l’un de ces deux types de requêtes tout en bloquant l’autre dans robots.txt. La distinction entre mobile et ordinateur s’effectue lors du traitement des requêtes ou de l’analyse des journaux, où les marqueurs Android et Mobile peuvent être examinés.

Les mêmes consignes présentent aussi l’ancien modèle pour mobile et indiquent aux responsables de sites de le repérer à l’aide de Android ou de Mobile, en complément de Baiduspider/2.0. Cette formulation justifie de conserver des champs distincts pour la famille de robots et la catégorie d’appareil dans un rapport d’analyse des journaux.

Termes associés

• Baiduspider
• Écosystème de recherche en chinois de Baidu
• Recherche IA de Baidu

Questions fréquentes

Une chaîne User-Agent suffit-elle à prouver qu’une requête provient de Baidu ?

Non. La procédure de vérification de Baidu ajoute des contrôles DNS inverse et direct : le nom d’hôte obtenu doit correspondre à un modèle de domaine de Baidu et sa résolution doit renvoyer l’adresse IP consignée dans le journal.

Baiduspider-render/2.0 identifie-t-il une visite pour mobile ?

Non. Les exemples de Baidu utilisent la forme render pour les contextes mobiles comme pour les PC. Les exemples pour mobile contiennent également Android ou Mobile.

Une règle robots.txt permet-elle de distinguer Baiduspider pour mobile de Baiduspider pour ordinateur ?

Non. Baidu indique qu’une restriction visant l’agent Baiduspider affecte à la fois l’exploration pour PC et celle pour mobile.

Sources

1. Baidu Search Resource Platform, « 如何用程序识别Baiduspider ua », 25 mai 2019
2. Baidu Search Resource Platform, « 〖官方说法〗只需两步，正确识别百度蜘蛛（User-Agent） », 20 mai 2019
3. Baidu Search Resource Platform, « 移动搜索 », 2 juin 2015

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO