En bref. Un groupe User-agent: Baiduspider couvre les variantes PC et mobile du robot de Baidu.

Définition : Oui. La documentation de Baidu indique qu’une règle robots destinée à Baiduspider s’applique à son exploration sur PC comme sur mobile, car les deux variantes utilisent des chaînes d’agent utilisateur (user-agent, UA) différentes, mais le même nom d’agent Baiduspider.

Points clés

Les recommandations de Baidu pour la création de sites indiquent qu’un blocage robots visant Baiduspider prend effet simultanément sur PC et sur mobile.
Les mêmes recommandations précisent que les versions PC et mobile de Baiduspider ont des chaînes UA différentes, tout en portant le même nom Baiduspider.
La page d’aide de Baidu sur Baiduspider définit la valeur de User-agent comme le nom du robot utilisé par un moteur de recherche et indique que * s’applique à tout robot.
La RFC 9309 indique qu’un robot sélectionne le groupe correspondant à son identifiant de produit (product token) et utilise le groupe * si aucun groupe spécifique ne correspond.
Selon sa page d’aide, Baidu recherche robots.txt dans le répertoire racine du site.

Pourquoi une seule règle Baiduspider couvre-t-elle les deux variantes ?

Les recommandations de Baidu, datées du 18 septembre 2019, présentent une chaîne UA mobile et une chaîne UA PC dans les instructions permettant d’identifier Baiduspider. Elles précisent ensuite qu’un blocage robots visant Baiduspider s’applique simultanément aux PC et aux mobiles. Les deux formes de requête se distinguent donc par leur chaîne UA, tout en partageant le même nom de produit dans les règles robots.

La conséquence pratique est précise : cette règle sélectionne les requêtes Baiduspider sur ordinateur et sur mobile pour les mêmes chemins. Un site ne peut pas utiliser User-agent: Baiduspider pour bloquer uniquement le robot PC tout en autorisant le robot mobile. Baidu décrit expressément cette tentative de configuration comme inadaptée aux sites à diffusion dynamique, où une même URL renvoie une page PC ou une page mobile selon la requête.

Comment le groupe robots est-il sélectionné ?

La RFC 9309 définit un groupe robots comme une ou plusieurs lignes user-agent suivies de règles. Elle indique que les robots utilisent un identifiant de produit pour trouver les groupes pertinents, comparent cet identifiant sans tenir compte de la casse et respectent les règles du groupe correspondant. L’identifiant de produit devrait figurer dans la chaîne d’identification du robot, par exemple dans l’en-tête HTTP User-Agent.

Pour une exclusion commune aux variantes de Baiduspider, les lignes correspondantes sont les suivantes :

User-agent: Baiduspider
Disallow: /private/

La règle de chemin s’applique au groupe correspondant. Si aucun groupe spécifique ne correspond à une requête, la RFC 9309 indique que le robot utilise le groupe User-agent: * lorsqu’il existe. La page d’aide de Baidu précise également que * s’applique à tout robot. Un groupe avec caractère générique a donc une portée plus large qu’un groupe propre à Baiduspider.

Que bloque la règle ?

Baidu décrit Disallow comme une directive qui précise les URL que le robot ne doit pas visiter. Sa valeur est interprétée comme un chemin complet ou un préfixe de chemin : une règle telle que Disallow: /private/ couvre donc les URL commençant par ce chemin pour le groupe sélectionné. La page d’aide de Baidu indique également que le fichier doit se trouver à la racine du site, par exemple à l’emplacement /robots.txt.

Le protocole robots encadre les demandes d’accès aux URL correspondantes. La page d’aide de Baidu précise qu’une page bloquée peut toujours apparaître dans les résultats de recherche lorsque d’autres sites pointent vers elle, tandis que Baidu n’explore, n’indexe et n’affiche pas le contenu de la page bloquée. Un blocage robots constitue donc une instruction d’exploration, dont Baidu décrit séparément les conséquences sur les résultats de recherche.

Comment vérifier la portée ?

La vérification consiste à lire le groupe User-agent dans le fichier robots.txt situé à la racine, puis à le comparer à l’identité du robot dans les journaux du serveur. Selon les recommandations citées, un groupe nommé Baiduspider est commun aux variantes PC et mobile de Baidu. Pour vérifier quelles requêtes ont atteint un chemin, les chaînes UA PC et mobile se contrôlent séparément dans les journaux.

La RFC 9309 ajoute que le chemin correspondant le plus spécifique prévaut lorsque des règles Allow et Disallow se chevauchent. La page d’aide de Baidu décrit l’ordre des règles comme déterminant et indique que le robot applique la première correspondance. L’examen des règles qui se chevauchent doit donc tenir compte de l’implémentation du robot testé.

Termes associés

Questions fréquentes

Puis-je bloquer Baiduspider sur ordinateur tout en l’autorisant sur mobile ?

Vous ne pouvez pas distinguer les deux variantes en vous fondant uniquement sur User-agent: Baiduspider. Les recommandations de Baidu attribuent le même nom d’agent Baiduspider aux versions PC et mobile : ce groupe couvre donc les deux.

Un groupe avec caractère générique a-t-il la même portée ?

User-agent: * a une portée plus large. La page d’aide de Baidu sur Baiduspider indique qu’il s’applique à tout robot, tandis qu’un groupe spécifique Baiduspider cible l’identité Baiduspider.

Où dois-je placer le fichier ?

Placez robots.txt à la racine du site. La page d’aide de Baidu indique que l’URL à la racine est l’emplacement qu’un robot vérifie avant d’accéder au site.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Une règle robots pour Baiduspider s’applique-t-elle à l’exploration sur ordinateur et sur mobile ?