Quelles règles s’appliquent si robots.txt ne mentionne pas Amzn-SearchBot ?

Définition : Amazon documente un mécanisme de repli pour Amzn-SearchBot : lorsque robots.txt omet son identifiant (token) mais autorise d’autres robots de recherche, Amzn-SearchBot explore le site selon les directives destinées à ces autres robots. Le protocole d’exclusion des robots (Robots Exclusion Protocol) définit les règles générales de correspondance des chemins et de recours au groupe générique lorsqu’aucun groupe ne correspond au robot.

Points clés

• Amazon indique qu’Amzn-SearchBot sert à améliorer les expériences de recherche de ses produits et services, notamment celles d’Alexa. La documentation d’Amazon sur ses robots précise la règle de repli lorsqu’un fichier mentionne d’autres robots de recherche mais omet Amzn-SearchBot.
• Le protocole d’exclusion des robots impose une correspondance insensible à la casse pour l’identifiant de produit du robot et indique que les groupes correspondants sont fusionnés.
• La RFC 9309 prévoit l’application du groupe User-agent: * lorsqu’aucun groupe ne correspond à l’identifiant du robot et qu’un groupe générique existe. Si aucun groupe correspondant ni groupe générique n’existe, elle indique qu’aucune règle ne s’applique.
• Amazon lit robots.txt au niveau de chaque hôte. Un domaine comportant plusieurs hôtes peut proposer des règles distinctes à des adresses comme example.com/robots.txt et site.example.com/robots.txt.
• Amazon indique que les agents automatisés répertoriés utilisent un fichier propre à l’hôte ou une copie en cache datant des 30 derniers jours, et considèrent comme absent un fichier impossible à récupérer.

Comment fonctionne le mécanisme de repli ?

La règle d’Amazon s’applique lorsque le fichier omet Amzn-SearchBot et autorise d’autres robots de recherche. Dans ce cas, Amazon indique que le robot suit les directives robots.txt destinées à ces autres robots. La page ne précise pas l’ordre de priorité entre plusieurs groupes nommant des robots de recherche ; un groupe explicite Amzn-SearchBot constitue donc le moyen le plus clair de définir une politique distincte.

La norme définit la séquence habituelle de sélection du groupe. Le robot recherche d’abord une correspondance avec son identifiant de produit, sans tenir compte de la casse. En l’absence de groupe correspondant, la RFC 9309 lui impose d’utiliser le groupe générique s’il existe. Un fichier peut donc contenir une politique générale et une politique plus spécifique pour un robot nommé :

User-agent: *
Disallow: /private/

User-agent: Googlebot
Allow: /private/public/

Lorsque la mention Amzn-SearchBot est absente, la documentation d’Amazon décrit son mécanisme de repli vers les directives destinées aux robots de recherche. La RFC 9309 définit la règle du groupe générique lorsqu’aucun groupe nommé ne s’applique.

Quels chemins sont autorisés dans le groupe sélectionné ?

Après la sélection du groupe, la RFC 9309 indique que le robot compare le chemin dès son premier caractère et applique la règle correspondante la plus spécifique. Un motif de chemin plus long a priorité sur un motif plus court. Si une règle d’autorisation et une règle d’interdiction sont équivalentes, la norme préconise d’utiliser la règle d’autorisation. Si aucune règle ne correspond à l’URI demandée, l’URI est autorisée.

Cette évaluation du chemin intervient après la sélection du groupe applicable. Selon la norme, un groupe générique peut régir Amzn-SearchBot, tandis que la règle de repli distincte d’Amazon concerne un fichier qui nomme d’autres robots de recherche. Une ligne Disallow dans un groupe nommé sans rapport avec le robot n’a pas d’effet universel du seul fait de sa présence.

Quel fichier robots.txt Amazon lit-il ?

La documentation d’Amazon indique que les agents automatisés répertoriés utilisent les fichiers robots.txt propres à chaque hôte. La spécification robots.txt de Google précise également que les règles s’appliquent uniquement à l’hôte, au protocole et au port où le fichier est hébergé. Une règle figurant dans https://example.com/robots.txt a donc une portée différente d’une règle figurant dans https://www.example.com/robots.txt.

Amazon documente aussi la mise en cache et la récupération : ses agents peuvent utiliser une copie en cache datant des 30 derniers jours et, si la récupération échoue, se comportent comme si le fichier était absent. Google décrit séparément son propre fonctionnement : il traite la plupart des réponses 4xx, à l’exception de 429, comme une absence de fichier robots.txt. Ces règles de traitement des réponses concernent Googlebot, tandis que la page d’Amazon décrit le comportement des agents qu’elle répertorie.

Comment un site peut-il définir explicitement sa politique ?

Un groupe reprenant l’identifiant de produit exact permet de définir une politique indépendante de celle des autres robots de recherche :

User-agent: Amzn-SearchBot
Disallow: /private/

Cet identifiant est le nom du produit qu’Amazon publie dans son exemple de chaîne user-agent, où Amzn-SearchBot/0.1 figure dans une chaîne d’identification compatible avec les navigateurs. Amazon indique que chaque paramètre de user-agent est indépendant des autres et que ses systèmes peuvent mettre environ 24 heures à prendre en compte les modifications.

Termes associés

• Amzn-SearchBot
• Amazonbot
• Amzn-User

Questions fréquentes

Si robots.txt mentionne Googlebot mais omet Amzn-SearchBot, quelles règles Amazon utilise-t-il ?

Amazon indique qu’Amzn-SearchBot explore le site conformément aux directives destinées aux autres robots de recherche lorsque son propre identifiant est absent et que d’autres robots de recherche sont autorisés. La page ne précise pas l’ordre de priorité lorsque plusieurs groupes nommant des robots de recherche sont présents.

Le groupe User-agent: * s’applique-t-il à Amzn-SearchBot ?

Selon la RFC 9309, un robot utilise le groupe générique lorsqu’aucun groupe ne correspond à son identifiant de produit et qu’un groupe générique est présent. Amazon documente séparément son mécanisme de repli vers les directives destinées aux autres robots de recherche.

Cette règle décrit-elle aussi le comportement d’Amzn-User ?

Une règle de repli particulière ne doit pas être transposée à Amzn-User. Amazon documente Amzn-User séparément et indique que les actions déclenchées par un utilisateur peuvent l’amener à ne pas suivre toutes les directives robots.txt.

Sources

1. Amazon, « About AmazonBot », sans date
2. Internet Engineering Task Force, « Robots Exclusion Protocol », septembre 2022
3. Google Search Central, « How Google interprets the robots.txt specification », 31 août 2026

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO