En bref. Amazon indique que les modifications des réglages indépendants des robots peuvent prendre environ 24 heures avant de se répercuter dans ses systèmes.
Définition : Amazon documente trois agents utilisateurs (user-agents) configurables indépendamment : Amazonbot, Amzn-SearchBot et Amzn-User. Sa documentation sur les robots indique qu’une modification de l’un de ces réglages peut prendre environ 24 heures avant de se répercuter dans les systèmes d’Amazon ; elle décrit également l’utilisation d’une copie du fichier
robots.txtpropre à l’hôte, mise en cache au cours des 30 derniers jours.
Points clés
- La documentation d’Amazon sur les robots indique que les réglages d’Amazonbot, d’Amzn-SearchBot et d’Amzn-User sont indépendants et que les modifications peuvent prendre environ 24 heures avant de se répercuter dans ses systèmes.
- La même page indique que les agents répertoriés récupèrent le fichier
robots.txtpropre à l’hôte ou utilisent une copie mise en cache au cours des 30 derniers jours. - Amazon prévoit un comportement de repli spécifique pour Amzn-SearchBot : lorsque
robots.txtne le mentionne pas mais autorise d’autres robots de recherche, Amzn-SearchBot suit les directives destinées à ces autres robots de recherche. - Amazon décrit Amzn-User comme un agent prenant en charge des actions d’utilisateurs susceptibles de récupérer des informations en direct sur le Web, et précise qu’il peut ne pas suivre toutes les directives de
robots.txt, car ces actions peuvent être déclenchées par un utilisateur. - La RFC 9309 impose une correspondance insensible à la casse entre l’identifiant de produit (product token) d’un robot et un groupe de
robots.txt, et prévoit l’utilisation du groupe*lorsqu’aucun groupe spécifique ne correspond.
Que contrôle un réglage indépendant ?
Un réglage indépendant correspond à un groupe de robots.txt destiné à un identifiant de produit. Amazon publie des exemples distincts de chaînes d’agent utilisateur pour Amazonbot, Amzn-SearchBot et Amzn-User, ce qui permet à un site d’exprimer des règles distinctes pour chaque identifiant. La RFC 9309 précise que les robots font correspondre l’identifiant de produit au groupe approprié, puis respectent les règles de ce groupe.
Cet exemple illustre des contrôles distincts pour les trois agents d’Amazon :
User-agent: Amazonbot
Disallow: /
User-agent: Amzn-SearchBot
Allow: /
User-agent: Amzn-User
Disallow: /
L’exemple bloque Amazonbot et Amzn-User tout en autorisant Amzn-SearchBot. Il s’agit d’un modèle de configuration : l’effet réel dépend du fichier servi par l’hôte concerné et de l’agent qui effectue la requête.
Quel est le délai de propagation ?
Amazon décrit un délai de propagation d’environ 24 heures pour que ses systèmes prennent en compte un réglage modifié. C’est le seul délai par réglage indiqué sur la page consacrée aux robots. Il concerne la prise en compte par les systèmes, sans fixer d’heure de requête pour chaque hôte.
La même page indique aussi que ces agents peuvent utiliser une copie du fichier propre à l’hôte, mise en cache au cours des 30 derniers jours. La RFC 9309 formule une recommandation générale du protocole : les robots ne devraient pas utiliser une version en cache pendant plus de 24 heures, sauf si le fichier est inaccessible. La mention des 30 jours décrit le comportement des robots publié par Amazon ; la recommandation de la RFC relève des règles générales du protocole auxquelles Amazon renvoie. Amazon ne publie pas de calendrier précis de première récupération du fichier après une modification pour chaque agent.
Comment vérifier une modification ?
La règle doit être servie au chemin propre à l’hôte qu’Amazon indique, par exemple example.com/robots.txt. Amazon précise qu’un domaine comportant plusieurs hôtes expose les règles sous chaque hôte : site.example.com dispose donc de son propre point de contrôle à l’adresse site.example.com/robots.txt.
La vérification passe par la recherche de l’identifiant de produit concerné dans les journaux du serveur. Les exemples de chaînes documentés par Amazon comprennent les formes suivantes :
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-User/0.1) Chrome/W.X.Y.Z Safari/537.36
L’absence de groupe explicite pour Amzn-SearchBot a une conséquence particulière dans la documentation d’Amazon : si d’autres robots de recherche sont autorisés, Amzn-SearchBot utilise les directives qui leur sont destinées. Amazon indique également que ces agents utilisateurs ne prennent pas en charge la directive crawl-delay ; celle-ci ne permet donc pas de contrôler leur délai de propagation.
Termes associés
- Amazonbot
- Amzn-SearchBot
- Amzn-User
- Combien de temps les robots d’Amazon peuvent-ils utiliser un fichier robots.txt en cache ?
Questions fréquentes
Une modification du réglage d’Amazonbot modifie-t-elle aussi celui d’Amzn-SearchBot ?
Non. Amazon décrit le réglage de chaque agent utilisateur comme indépendant. Amzn-SearchBot dispose de son propre groupe lorsqu’il est nommé, ainsi que du comportement de repli documenté vers les règles des autres robots de recherche lorsqu’il est omis.
La directive crawl-delay peut-elle contrôler le moment où un réglage Amazon prend effet ?
Non. La page d’Amazon consacrée aux robots indique que les agents utilisateurs répertoriés ne prennent pas en charge la directive crawl-delay. Le délai de propagation documenté est d’environ 24 heures pour que les systèmes prennent en compte une modification de réglage.
Amazon promet-il une requête exactement 24 heures après une modification ?
La page décrit un délai approximatif de prise en compte par ses systèmes. Elle ne donne pas de calendrier fixe de requêtes pour Amazonbot, Amzn-SearchBot ou Amzn-User.
Sources
- Amazon Developer, « About AmazonBot », sans date
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO