Amzn-User respecte-t-il toutes les directives de robots.txt ?

L'équipe Citead, mis à jour le

En bref. Amzn-User peut déroger aux directives de robots.txt pour les actions déclenchées par l’utilisateur ; une règle d’interdiction ne suffit donc pas à faire respecter une restriction d’accès.

Définition : Amzn-User est l’agent de récupération de pages web d’Amazon pour les actions des utilisateurs, notamment les requêtes Alexa qui nécessitent des informations à jour. Au 17 octobre 2026, Amazon indique que ces actions déclenchées par l’utilisateur peuvent ne pas respecter toutes les directives de robots.txt.

Points clés

En quoi consiste l’exception liée aux actions déclenchées par l’utilisateur ?

La description d’Amzn-User par Amazon donne l’exemple d’une question posée à Alexa qui nécessite des informations à jour : l’agent peut récupérer des informations sur le Web en temps réel pour le compte de l’utilisateur. Amazon relie directement l’exception concernant robots.txt à cette activité déclenchée par l’utilisateur.

La même page indique que l’exploration automatisée effectuée par les agents répertoriés respecte le protocole d’exclusion des robots, le système qui permet de publier des instructions pour les robots d’exploration dans robots.txt. La réserve concernant Amzn-User doit donc être prise en compte dans l’interprétation de cette affirmation générale. Amazon ne détaille ni les directives contournées ni les conditions exactes de leur contournement.

Que signifie une règle visant Amzn-User ?

Un identifiant d’agent utilisateur (user-agent) est le nom du robot d’exploration utilisé pour sélectionner un groupe de règles de robots.txt. La section 2.2.1 de la RFC 9309 définit ce mécanisme de correspondance. Un groupe visant Amzn-User peut exprimer une demande d’interdiction d’accès à tous les chemins :

User-agent: Amzn-User
Disallow: /

Cette configuration associe la syntaxe des groupes définie par la norme au nom d’agent publié par Amazon. Son effet reste soumis à l’exception liée aux actions déclenchées par l’utilisateur.

La documentation d’Amazon indique que le paramétrage de chaque agent est indépendant. Une règle visant Amazonbot doit donc être examinée séparément d’une règle visant Amzn-User. La même documentation précise que les changements de paramétrage peuvent prendre environ 24 heures pour être répercutés dans les systèmes d’Amazon et que les agents répertoriés ne prennent pas en charge crawl-delay.

Comment un site web fait-il respecter une restriction d’accès ?

La section 3 de la RFC 9309 recommande aux sites d’utiliser des mesures de sécurité adaptées à la couche applicative pour contrôler l’accès et donne l’authentification HTTP comme exemple. Elle avertit également que les chemins énumérés dans robots.txt deviennent publics. Un contenu dont l’accès doit être restreint doit être protégé par un mécanisme effectif de contrôle d’accès.

Une règle de robots.txt communique une politique d’exploration. L’authentification détermine si une requête peut obtenir un contenu protégé. Cette distinction s’applique à l’interprétation d’une règle d’interdiction visant Amzn-User au regard de l’exception énoncée par Amazon.

Termes associés

Questions fréquentes

Puis-je compter sur Disallow pour bloquer toutes les requêtes d’Amzn-User ?

Non. Amazon prévoit explicitement que des actions d’Amzn-User puissent déroger aux directives de robots.txt, car elles peuvent être déclenchées par un utilisateur.

Dois-je placer des chemins confidentiels dans robots.txt ?

La RFC 9309 avertit que ces chemins deviennent publics et présente l’authentification HTTP comme une mesure de contrôle d’accès. Protégez les contenus confidentiels par des contrôles d’accès effectifs.

Sources

  1. Amazon, « About AmazonBot », sans date
  2. IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
  3. Amazon, « Amazonbot Live Crawl IP addresses », sans date

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Testez une page et voyez quoi corriger en premier

L'analyse prend en général moins de 10 secondes et ne demande pas de compte.

400 000+ pages notées dans le benchmark public