En bref. Amazon indique que les agents utilisateurs automatisés répertoriés agissent comme si robots.txt n’existait pas lorsqu’ils ne peuvent pas le récupérer.

Définition : Amazon indique que les agents utilisateurs (user agents) automatisés répertoriés dans sa documentation utilisent un fichier robots.txt propre à chaque hôte ou une copie mise en cache au cours des 30 derniers jours. Lorsque la récupération échoue, ils considèrent que le fichier est absent.

Points clés

La documentation d’Amazon couvre Amazonbot, Amzn-SearchBot et Amzn-User. Elle précise que les paramètres de chaque agent utilisateur sont indépendants et que leur prise en compte par les systèmes d’Amazon peut demander environ 24 heures. La documentation d’Amazon sur ses robots en définit le périmètre.
Amazon indique que l’exploration automatisée effectuée par ces agents utilisateurs respecte le protocole d’exclusion des robots (Robots Exclusion Protocol), utilise les règles propres à l’hôte ou une copie mise en cache au cours des 30 derniers jours, et considère comme absent un fichier impossible à récupérer. Le Robots Exclusion Protocol définit la norme à laquelle Amazon fait référence.
La RFC 9309 décrit un fichier indisponible, avec un code de réponse compris entre 400 et 499, comme autorisant un robot à accéder à toute ressource du serveur. Une erreur de serveur ou de réseau rend en revanche le fichier indéfini et impose une interdiction complète d’exploration. Google décrit séparément sa propre gestion du cache et des erreurs. La documentation de Google sur robots.txt expose le comportement de cette implémentation.

Que documente Amazon ?

La page d’Amazon décrit les mécanismes de contrôle d’Amazonbot, d’Amzn-SearchBot et d’Amzn-User. Elle indique que l’exploration automatisée effectuée par ces agents utilisateurs respecte les directives user-agent, allow et disallow. Un fichier propre à un hôte appartient à l’hôte auquel le robot accède : example.com/robots.txt et site.example.com/robots.txt sont donc deux emplacements distincts lorsque les deux hôtes existent. Amazon précise aussi qu’une requête Amzn-User peut être déclenchée par un utilisateur et passer outre certaines directives de robots.txt.

La page donne cet exemple de chaîne user-agent pour Amzn-SearchBot :

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amzn-SearchBot/0.1) Chrome/W.X.Y.Z Safari/537.36

Que se passe-t-il après un échec de récupération ?

Amazon indique que les agents utilisateurs répertoriés récupèrent un fichier robots.txt propre à l’hôte ou utilisent une copie mise en cache au cours des 30 derniers jours. En cas d’échec de récupération, le comportement documenté consiste à agir comme si le fichier était absent. En pratique, le robot ne dispose alors d’aucune règle allow ou disallow récupérée dans ce fichier et applicable à l’exploration par Amazon. La page d’Amazon ne précise pas les codes de réponse HTTP ni les erreurs de réseau concernés.

La RFC 9309 distingue deux cas. Une réponse comprise entre 400 et 499 correspond à l’état « indisponible » (« unavailable »), pour lequel un robot peut accéder à toute ressource du serveur. Une erreur de serveur ou de réseau, notamment un code compris entre 500 et 599, rend le fichier indéfini et impose une interdiction complète d’exploration. Amazon cite cette RFC comme protocole respecté, tout en publiant séparément sa propre règle en cas de fichier manquant.

Comment le traitement documenté par Google se compare-t-il ?

Google indique qu’après un échec de récupération d’une nouvelle version, il utilise la dernière version valide pendant les 30 jours suivants tout en poursuivant ses tentatives de récupération. Si aucune version en cache n’est disponible, Google considère que l’exploration n’est soumise à aucune restriction. Après 30 jours, Google agit comme si le fichier robots.txt était absent lorsque le site est globalement accessible, mais interrompt l’exploration lorsque le site présente des problèmes généraux de disponibilité. Sa documentation précise que Google conserve généralement robots.txt en cache pendant 24 heures au maximum et peut prolonger cette durée lorsque l’actualisation est impossible.

Ces règles de Google expliquent pourquoi le résultat observé sur un site nécessite des éléments propres à Amazon, au-delà d’une règle générique sur robots.txt. L’agent utilisateur Amazon concerné, l’hôte, la réponse et l’état du cache doivent être consignés ensemble.

Que doit vérifier le responsable d’un site ?

Vérifier séparément la réponse à la demande de robots.txt pour chaque hôte qui reçoit des requêtes. Consigner si la réponse a été récupérée, si l’hôte demandé a renvoyé le fichier et si la requête utilisait un agent utilisateur Amazon. Pour Amzn-SearchBot, Amazon précise que lorsque le fichier omet cet identifiant mais autorise d’autres robots de recherche, Amzn-SearchBot suit les directives destinées à ces autres robots.

Lors d’une panne temporaire, le comportement documenté d’Amazon à retenir est celui du fichier manquant. Le propriétaire d’un site peut comparer le journal du serveur avec le fichier servi au chemin propre à l’hôte, en limitant le test à l’agent utilisateur Amazon désigné. La page précise aussi que les paramètres de chaque agent utilisateur sont indépendants et que leur prise en compte par les systèmes d’Amazon peut demander environ 24 heures.

Termes associés

Questions fréquentes

Un fichier robots.txt indisponible entraîne-t-il automatiquement une interdiction complète d’exploration pour Amazon ?

La règle publiée par Amazon indique que les agents utilisateurs automatisés répertoriés considèrent comme absent un fichier impossible à récupérer. La RFC 9309 prévoit une règle différente d’interdiction complète d’exploration lorsqu’une erreur de serveur ou de réseau rend le fichier inaccessible : il convient donc de distinguer la formulation de la page d’Amazon des catégories d’état de la RFC.

Amazon utilise-t-il un seul fichier robots.txt pour tous les sous-domaines ?

Non. Amazon documente une récupération par hôte et donne example.com/robots.txt et site.example.com/robots.txt comme exemples distincts pour des hôtes distincts.

Cette règle couvre-t-elle les requêtes Amzn-User effectuées pour une personne ?

Amazon indique qu’Amzn-User prend en charge des actions d’utilisateurs, comme les requêtes Alexa qui nécessitent des informations à jour, et qu’il peut passer outre certaines directives de robots.txt parce que ces actions peuvent être déclenchées par un utilisateur.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Que se passe-t-il lorsque les robots d’exploration automatisés d’Amazon ne peuvent pas récupérer robots.txt ?