En bref. Amazonbot est le robot d’exploration web d’Amazon, avec des contrôles robots.txt publiés et une instruction noarchive pour exclure les pages de l’entraînement des modèles.
Définition : Amazonbot est le robot d’exploration web d’Amazon destiné à améliorer ses produits et services, notamment en collectant des informations susceptibles de servir à l’entraînement des modèles d’IA d’Amazon. Au 17 octobre 2026, Amazon documente des contrôles au moyen de robots.txt et de balises meta robots au niveau des pages.
Points clés
- La documentation d’Amazon sur Amazonbot distingue Amazonbot, Amzn-SearchBot et Amzn-User, avec des paramètres indépendants pour chaque agent.
- Amazon publie une liste d’adresses IP d’Amazonbot contenant un tableau
prefixesavec des entréesipv4Prefix. - La spécification du protocole d’exclusion des robots de l’IETF place les règles d’exploration dans
/robots.txt, à la racine du service.
En quoi Amazonbot diffère-t-il des autres agents d’Amazon ?
Un agent utilisateur (user agent) identifie le logiciel qui effectue une requête web. La documentation d’Amazon sur ses robots d’exploration donne Amazonbot/0.1 comme identifiant d’Amazonbot dans son exemple de chaîne user-agent. L’objectif déclaré comprend l’amélioration de l’exactitude des informations fournies aux clients et, éventuellement, l’entraînement des modèles d’IA d’Amazon.
Amzn-SearchBot alimente les fonctions de recherche des produits Amazon, dont Alexa. Amazon précise que la collecte destinée à l’entraînement des modèles est exclue de la mission de cet agent. Lorsque robots.txt ne mentionne pas Amzn-SearchBot mais autorise d’autres robots de recherche, il suit les directives données à ces autres robots.
Amzn-User prend en charge les actions des utilisateurs, par exemple en récupérant des informations à jour sur le web pour répondre à une requête Alexa. Amazon indique que les actions déclenchées par un utilisateur peuvent passer outre certaines directives de robots.txt. La documentation exclut également la collecte destinée à l’entraînement des modèles de la mission de cet agent. Ces rôles distincts rendent le nom de l’agent pertinent dans le choix d’un contrôle.
Comment un site peut-il bloquer l’exploration par Amazonbot ?
Un fichier robots.txt publie des instructions à l’intention des robots d’exploration. Selon les règles robots.txt publiées par Amazon, l’exploration automatisée respecte les directives User-agent, Allow et Disallow. L’exemple suivant applique à Amazonbot une règle d’interdiction sur l’ensemble du site :
User-agent: Amazonbot
Disallow: /
Cet exemple adapte la syntaxe de la spécification de l’IETF qui associe un agent nommé à une interdiction portant sur le chemin racine. Amazon lit les règles au niveau de chaque hôte : example.com/robots.txt et site.example.com/robots.txt contrôlent leurs hôtes respectifs. Un domaine comportant plusieurs hôtes nécessite donc des règles sur chaque hôte concerné.
Amazon indique que les modifications de paramètres peuvent prendre environ 24 heures pour être répercutées dans ses systèmes. Ses règles autorisent également l’utilisation d’une copie de robots.txt mise en cache au cours des 30 derniers jours. Si le fichier ne peut pas être récupéré, les agents se comportent comme s’il était absent.
Le protocole d’exclusion des robots décrit ces règles comme des instructions destinées aux robots et préconise des mesures de sécurité distinctes, telles que l’authentification HTTP, pour protéger l’accès au contenu.
Quels contrôles d’exclusion au niveau des pages Amazon publie-t-il ?
Une balise meta robots est un élément HTML contenant des instructions au niveau de la page. La documentation d’Amazon sur les contrôles des pages attribue à noarchive le sens d’une exclusion de la page de l’entraînement des modèles. Une implémentation HTML conforme à cette instruction documentée est :
<meta name="robots" content="noarchive">
La même documentation attribue à noindex et à none le sens d’une exclusion de la page de l’indexation. Elle indique également que les agents respectent rel="nofollow" sur les liens. Amazon précise que ces contrôles s’appliquent lorsque ses agents accèdent aux pages web : l’instruction d’exclusion de l’entraînement a donc sa place dans le code HTML de la page, où l’agent peut la lire.
Termes associés
Questions fréquentes
Bloquer Amazonbot bloque-t-il aussi Amzn-SearchBot ?
La documentation d’Amazon sur ses robots d’exploration indique que les paramètres de chaque agent sont indépendants. Pour contrôler l’exploration destinée à la recherche, définissez des règles distinctes pour Amzn-SearchBot.
Puis-je ralentir Amazonbot avec crawl-delay ?
Amazon indique que les agents répertoriés ne prennent pas en charge crawl-delay. Ses règles robots.txt documentent la prise en charge de la sélection de l’agent utilisateur et des règles d’autorisation et d’interdiction.
Quelle balise exclut une page de l’entraînement des modèles d’Amazon ?
Amazon documente noarchive à cette fin. Les significations qu’Amazon attribue à noindex et à none concernent l’indexation des pages.
Sources
- Amazon, « About AmazonBot », sans date
- Amazon, « Amazonbot IP addresses », sans date
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO