En bref. Amazon documente une période de cache de robots.txt couvrant les 30 derniers jours pour les agents utilisateurs automatisés répertoriés.

Définition : Amazon documente l’utilisation d’une copie en cache de robots.txt datant des 30 derniers jours pour les agents utilisateurs (user agents) automatisés répertoriés sur sa page. Le fichier est lu au niveau de l’hôte, et Amazon indique que ses agents utilisateurs se comportent comme si le fichier n’existait pas lorsqu’ils ne peuvent pas le récupérer.

Points clés

La documentation Amazonbot d’Amazon indique que les agents utilisateurs automatisés répertoriés peuvent utiliser une copie en cache du fichier robots.txt de l’hôte datant des 30 derniers jours.
La même documentation indique que ces agents utilisateurs respectent le protocole d’exclusion des robots (Robots Exclusion Protocol) et ses directives user-agent, allow et disallow.
Amazon précise que le réglage de chaque agent utilisateur est indépendant et que ses systèmes peuvent mettre environ 24 heures à prendre en compte les modifications.
La RFC 9309 recommande aux robots d’exploration de ne pas utiliser une copie en cache pendant plus de 24 heures, sauf si robots.txt est injoignable.
Google documente une politique distincte : le fichier robots.txt est généralement conservé en cache pendant 24 heures au maximum, et peut y rester plus longtemps si son actualisation est impossible.

Quelle durée de mise en cache Amazon documente-t-il ?

La page d’Amazon consacrée à Amazonbot, Amzn-SearchBot et Amzn-User indique que l’exploration automatisée par ces agents utilisateurs répertoriés respecte le protocole d’exclusion des robots. Elle précise ensuite la règle de fonctionnement : les agents récupèrent les fichiers robots.txt au niveau de l’hôte ou utilisent une copie en cache datant des 30 derniers jours. Pour le fonctionnement documenté par Amazon, la période de référence du cache est donc de 30 jours.

La page indique également que, lorsqu’un fichier ne peut pas être récupéré, ces agents utilisateurs se comportent comme s’il n’existait pas. Amazon ne décrit pas de calendrier d’actualisation plus détaillé au cours de cette période. L’entreprise précise séparément que le réglage de chaque agent utilisateur est indépendant et que ses systèmes peuvent mettre environ 24 heures à prendre en compte une modification. Cette indication de propagation concerne les modifications des réglages d’Amazon, tandis que celle des 30 jours concerne un fichier robots.txt en cache.

Quel rapport avec la norme robots.txt ?

La RFC 9309, qui définit le protocole d’exclusion des robots et date de septembre 2022, autorise les robots d’exploration à mettre en cache le contenu de robots.txt récupéré. Sa règle de mise en cache recommande de ne pas utiliser une version en cache pendant plus de 24 heures, sauf si le fichier est injoignable. Cette exception compte, car la même RFC indique qu’un fichier robots.txt injoignable à cause d’erreurs du serveur ou du réseau impose une interdiction complète de l’exploration, avec les réponses HTTP 500 à 599 comme exemple.

La RFC donne aussi un exemple d’échec prolongé. Si robots.txt reste dans un état indéfini pendant une période raisonnablement longue, par exemple 30 jours, un robot peut le considérer comme indisponible ou continuer à utiliser une copie en cache. Il s’agit de recommandations de protocole destinées aux robots en général. La page d’Amazon précise le comportement propre au service pour les agents répertoriés ; la documentation d’Amazon et la RFC se lisent donc chacune dans leur périmètre respectif.

Quel hôte et quelles règles Amazon lit-il ?

Amazon indique que ses agents utilisateurs recherchent robots.txt au niveau de l’hôte. Pour example.com, cela correspond à :

https://example.com/robots.txt

Les règles exposées sur un autre hôte sont traitées séparément. La page donne site.example.com/robots.txt comme emplacement pour un hôte distinct, site.example.com. Amazon précise aussi que l’exploration automatisée respecte les directives user-agent, allow et disallow. Une règle visant Amazonbot peut donc utiliser la syntaxe standard d’un groupe :

User-agent: Amazonbot
Disallow: /private/

La RFC 9309 exige qu’un robot suive les règles interprétables après un téléchargement réussi. Une copie en cache peut donc continuer à représenter les règles antérieures jusqu’à ce qu’Amazon obtienne un fichier plus récent ou applique le comportement prévu en cas d’échec décrit sur sa page.

Quelle comparaison avec le fonctionnement de Google ?

La spécification robots.txt de Google indique que Google conserve généralement le fichier en cache pendant 24 heures au maximum. Il peut le conserver plus longtemps lorsque l’actualisation est impossible à cause de délais d’attente dépassés ou d’erreurs 5xx, et peut ajuster cette durée à l’aide de la valeur max-age de l’en-tête HTTP Cache-Control. Google précise également qu’une réponse en cache peut être partagée entre différents robots.

La politique publiée par Google montre pourquoi la documentation propre à chaque robot compte. En cas d’erreurs du serveur, Google suspend l’exploration pendant les 12 premières heures tout en réessayant de récupérer le fichier, puis utilise la dernière version valide pendant les 30 jours suivants en poursuivant ses tentatives de récupération. Amazon publie une règle de mise en cache différente pour ses propres agents.

Termes associés

Questions fréquentes

La période de 30 jours d’Amazon correspond-elle à la recommandation de cache de la RFC 9309 ?

Non. La RFC 9309 formule une recommandation générale de 24 heures, avec une exception si le fichier est injoignable. La documentation d’Amazon indique que les agents utilisateurs automatisés répertoriés peuvent utiliser une copie en cache datant des 30 derniers jours.

Une modification de robots.txt est-elle immédiatement prise en compte par les robots d’Amazon ?

Amazon indique que ses systèmes peuvent mettre environ 24 heures à prendre en compte les modifications du réglage de chaque agent utilisateur. Sa page documente séparément une copie en cache de robots.txt datant des 30 derniers jours.

Amazon utilise-t-il un seul fichier robots.txt pour tous les hôtes ?

Non. Amazon indique que ses agents utilisateurs lisent robots.txt au niveau de l’hôte et donne example.com/robots.txt et site.example.com/robots.txt comme exemples distincts.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Combien de temps les robots d’Amazon peuvent-ils utiliser un fichier robots.txt en cache ?