En bref. Utilisez un groupe robots.txt avec Disallow: / pour Amazonbot et un groupe distinct avec Allow: / pour Amzn-SearchBot, en examinant les règles existantes pour les deux robots.
Définition : Au 17 octobre 2026, Amazon documente des paramètres d’accès indépendants pour Amazonbot, un robot d’exploration (crawler) dont la collecte peut servir à l’entraînement des modèles d’IA d’Amazon, et Amzn-SearchBot, son robot de recherche. Des groupes distincts dans robots.txt permettent d’interdire l’accès à Amazonbot tout en l’autorisant explicitement à Amzn-SearchBot.
Points clés
- La documentation « About Amazonbot » d’Amazon indique que chaque paramètre d’agent utilisateur (user agent) est indépendant et que ses systèmes peuvent prendre environ 24 heures pour répercuter les modifications.
- La spécification du protocole d’exclusion des robots de l’IETF impose aux robots de combiner les règles des groupes correspondant au même agent utilisateur.
- La page des adresses IP de Searchbot d’Amazon publie des préfixes réseau dans des champs
ip_prefix, qui servent de référence pour vérifier les adresses sources des requêtes du robot de recherche.
Quelles règles robots.txt expriment ce choix ?
Un fichier robots.txt contient des instructions destinées aux robots d’exploration, regroupées selon le nom du robot indiqué dans une ligne User-agent. Un groupe se compose de cette ligne et des règles qui la suivent. La RFC 9309 de l’IETF définit Disallow et Allow comme des règles régissant l’accès aux chemins correspondants.
La configuration suivante applique ces règles aux noms de robots documentés par Amazon :
User-agent: Amazonbot
Disallow: /
User-agent: Amzn-SearchBot
Allow: /
Le groupe Amazonbot interdit l’exploration de tous les chemins du site. Le groupe Amzn-SearchBot autorise l’exploration de ces mêmes chemins. Cet exemple autorise le robot de recherche sur l’ensemble du site ; un site qui impose des restrictions sur certains chemins doit aussi les inclure dans son groupe Amzn-SearchBot.
Les groupes existants portant l’un ou l’autre de ces noms doivent également être examinés. Selon la même spécification, les groupes correspondants sont combinés et la règle correspondant au chemin le plus précis s’applique. L’ajout d’un groupe laisse les règles existantes intervenir dans le résultat final.
Pourquoi nommer explicitement Amzn-SearchBot ?
La documentation des robots d’Amazon indique qu’Amazonbot améliore ses produits et services et peut servir à entraîner les modèles d’IA d’Amazon. Elle décrit Amzn-SearchBot comme un robot au service des fonctionnalités de recherche des produits et services Amazon, dont Alexa, et précise que ce robot ne collecte pas de contenu pour l’entraînement des modèles d’IA.
Amazon documente également une règle de repli : lorsque robots.txt ne mentionne pas Amzn-SearchBot mais autorise d’autres robots de recherche, Amzn-SearchBot suit les directives données à ces autres robots. Un groupe explicite exprime directement l’accès souhaité pour la recherche.
Amazon décrit le contenu dont la collecte est autorisée comme admissible à l’affichage dans ces fonctionnalités de recherche. La configuration exprime donc des autorisations de collecte distinctes ; l’admissibilité constitue le résultat documenté pour la recherche.
Où héberger le fichier et quand s’applique-t-il ?
La spécification de la méthode d’accès de l’IETF situe le fichier au chemin /robots.txt, à la racine du service, avec un encodage UTF-8 et un type de contenu text/plain.
Les consignes robots.txt d’Amazon prévoient une vérification des règles par hôte. Leurs exemples distinguent example.com/robots.txt de site.example.com/robots.txt. Un domaine comportant plusieurs hôtes doit donc exposer les règles souhaitées sur chaque hôte concerné.
Les mêmes consignes autorisent l’utilisation d’une copie en cache datant des 30 derniers jours et indiquent que, si le fichier ne peut pas être récupéré, les agents se comportent comme s’il était absent. Vérifier que le fichier prévu est accessible publiquement fait partie du contrôle de cette configuration. Le délai d’environ 24 heures pour la prise en compte des paramètres et la durée de conservation en cache documentée sont deux indications distinctes dans les consignes d’Amazon.
Termes associés
Questions fréquentes
Cela bloque-t-il aussi la récupération en direct pour une question posée à Alexa ?
La documentation d’Amzn-User d’Amazon décrit un agent distinct capable de récupérer des informations à jour pour une requête Alexa. Comme un utilisateur peut déclencher ces actions, Amazon indique qu’Amzn-User peut ne pas suivre toutes les directives robots.txt.
Puis-je utiliser crawl-delay à la place de Disallow ?
Amazon précise dans la même documentation que les agents répertoriés ne prennent pas en charge crawl-delay. Dans cette configuration, l’instruction de blocage est Disallow: / dans le groupe Amazonbot.
Dois-je reprendre les restrictions de mon groupe générique ?
Examinez-les lors de la création d’un groupe explicite Amzn-SearchBot. Selon les règles de sélection des groupes de la RFC 9309, le groupe User-agent: * s’applique lorsqu’aucun groupe nommé ne correspond ; les restrictions nécessaires pour un robot nommé doivent donc figurer dans le groupe qui lui est applicable.
Sources
- Amazon, « About Amazonbot », sans date, consulté le 17 octobre 2026
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
- Amazon, « Amazon Searchbot IP addresses », sans date, consulté le 17 octobre 2026
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO