En bref. La RFC 9309 impose une capacité d’analyse d’au moins 500 KiB, tandis que Google indique une limite de 500 KiB et ignore le contenu situé au-delà.
Définition : Un fichier robots.txt contient des règles qui indiquent aux robots d’exploration (crawlers) comment accéder aux URL d’un site. La RFC 9309 impose une limite d’analyse d’au moins 500 KiB ; au 17 octobre 2026, Google indique une limite de 500 KiB et ignore le contenu situé au-delà.
Points clés
- La RFC 9309 de l’IETF, section 2.5, impose aux robots de prendre en charge l’analyse d’au moins 500 kibioctets et recommande une limite pour protéger leurs systèmes.
- La spécification robots.txt de Google indique que le contenu situé au-delà de sa limite de 500 KiB est ignoré.
- Le guide de création de fichiers de Google présente sa bibliothèque robots.txt open source comme un moyen de tester les fichiers localement avec l’analyseur utilisé dans Google Search.
Que prévoit la norme ?
Un analyseur syntaxique (parser) est un logiciel qui lit le fichier et interprète ses règles. La limite définie dans la RFC 9309 fixe une capacité minimale : une implémentation peut prendre en charge un fichier plus volumineux. La section 3 décrit cette exigence comme le nombre minimal d’octets à traiter. La limite porte donc sur la taille du fichier en octets, indépendamment du nombre de règles.
La section 2.3.1.5 impose également aux robots de tenter d’analyser chaque ligne et d’utiliser les règles qu’ils peuvent analyser. La norme laisse aux développeurs la possibilité de plafonner le traitement tout en exigeant une capacité d’au moins 500 KiB.
Que deviennent les règles situées au-delà de la limite de Google ?
Selon la documentation de Google sur le format du fichier, le contenu situé au-delà de 500 KiB est ignoré. Une règle placée intégralement au-delà de ce seuil n’a donc aucun effet sur l’analyse du fichier par Google.
Maintenir le fichier complet sous cette limite évite de placer des instructions dans la partie ignorée.
Comment respecter la limite de taille ?
La spécification de Google recommande de regrouper les règles et de placer les contenus exclus dans un répertoire distinct. Une règle portant sur un répertoire peut couvrir son contenu sans énumérer chaque URL. L’exemple suivant reprend le motif de chemin /fish/ documenté dans la spécification :
User-agent: *
Disallow: /fish/
Ce motif correspond à /fish/ et à /fish/salmon.htm, tandis que /fish.html reste en dehors de cette correspondance. Ces différences entre les chemins comptent lors du remplacement de règles individuelles.
Comment vérifier le fichier mis en ligne ?
Le guide de création de Google recommande d’ouvrir l’URL du fichier robots.txt dans une fenêtre de navigation privée pour vérifier son accès public. Il présente également le rapport robots.txt de la Search Console pour les fichiers déjà accessibles sur le site, ainsi que son analyseur open source pour les tests locaux.
Termes associés
- robots.txt
- Directive Disallow de robots.txt
- Correspondance avec les caractères génériques dans robots.txt
- Priorité des groupes robots.txt
Questions fréquentes
Tous les robots doivent-ils s’arrêter à 500 KiB ?
La RFC 9309 impose une limite d’analyse d’au moins 500 KiB. Un robot peut prendre en charge davantage ; la limite indiquée par Google s’applique à son implémentation.
Puis-je raccourcir un fichier en regroupant les URL exclues ?
Oui. La spécification de Google recommande un répertoire distinct pour les contenus exclus. Vérifiez les correspondances de chemins obtenues avant de remplacer vos règles existantes.
Sources
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
- Google, « How Google interprets the robots.txt specification », mis à jour le 31 août 2026
- Google, « How to write and submit a robots.txt file », mis à jour le 21 novembre 2025
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO