En bref. Une règle Allow autorise les chemins correspondants et peut prendre le pas sur une règle Disallow plus générale au sein du groupe de robots applicable.
Définition : La RFC 9309 définit Allow comme une règle de robots.txt qui autorise les robots d’exploration (crawlers) à accéder aux chemins d’URL correspondants. Une règle Allow peut créer une exception à une règle Disallow plus générale lorsque son chemin est plus précis.
Points clés
- La RFC 9309 impose d’appliquer la règle correspondante la plus précise, mesurée en octets, et recommande Allow lorsque les règles Allow et Disallow sont équivalentes.
- Au 17 octobre 2026, la spécification robots.txt de Google indique que les valeurs des chemins sont sensibles à la casse et qu’une règle Allow sans chemin est ignorée.
- L’introduction à robots.txt de Google avertit que bloquer les ressources nécessaires à la compréhension d’une page peut nuire à l’analyse de cette page par Google.
Comment Allow crée-t-elle une exception ?
Un groupe robots.txt se compose de lignes User-agent qui identifient les robots, suivies de règles. La section 2.2.2 de la RFC 9309 impose que la comparaison des chemins commence au premier octet (byte en anglais). Dans cet exemple de groupe, les exceptions s’appliquent à des chemins de plus en plus longs :
User-agent: *
Disallow: /docs/
Allow: /docs/public/
Disallow: /docs/public/drafts/
Ici, l’accès à /docs/public/guide.html est autorisé, car /docs/public/ est plus précis que /docs/. La règle Disallow au chemin plus long bloque /docs/public/drafts/outline.html. Une règle Allow au chemin court ne peut donc pas prendre le pas sur toutes les règles Disallow de son groupe. Déplacer les lignes au sein de ce groupe ne change pas leur degré de précision relatif.
La même section recommande de retenir Allow lorsque les règles sont équivalentes, par exemple si Allow et Disallow indiquent toutes deux /docs/.
Quel groupe de robots contient l’exception ?
Les règles de sélection des groupes de Google retiennent le groupe dont l’identifiant de robot (user agent) correspondant est le plus précis. Lorsque plusieurs groupes sont propres à un même robot, leurs règles sont fusionnées ; un groupe spécifique et le groupe global User-agent: * restent séparés.
Une exception doit donc figurer dans les règles applicables au robot visé. Ajouter Allow au groupe avec caractère générique ne change pas les règles d’un groupe existant propre à Googlebot. La sélection du groupe précède la résolution des règles portant sur des chemins concurrents.
La même documentation distingue le nom du champ de sa valeur : Allow et allow sont des noms de champ équivalents, tandis que la valeur du chemin est sensible à la casse. Vérifier une exception suppose de contrôler à la fois son groupe et l’emploi exact des majuscules et des minuscules dans son chemin.
Que change une exception pour un site web ?
L’introduction à robots.txt de Google explique que les scripts et les styles peuvent influer sur la manière dont son robot comprend une page. Une exception Allow peut maintenir l’accès à une ressource nécessaire dans un répertoire autrement exclu de l’exploration. Le chemin réel de la ressource détermine si l’exception s’applique.
La même introduction distingue l’exploration du retrait des résultats de recherche : Google peut indexer l’URL d’une page bloquée grâce à des liens présents ailleurs. Elle recommande noindex ou une protection par mot de passe lorsque l’objectif est d’exclure une page web de Google.
Termes associés
- robots.txt
- Directive Disallow de robots.txt
- Directive User-agent de robots.txt
- Priorité des groupes robots.txt
Questions fréquentes
Ai-je besoin d’une règle Allow pour chaque page publique ?
Selon la RFC 9309, l’accès à une URL est autorisé lorsqu’aucune règle du groupe applicable ne lui correspond.
Une règle Allow vide autorise-t-elle tous les accès à Googlebot ?
La spécification robots.txt de Google indique qu’une règle Allow sans chemin est ignorée. Vous devez préciser un chemin correspondant pour créer une exception.
Puis-je utiliser robots.txt pour protéger des contenus privés ?
L’introduction à robots.txt de Google précise que les robots respectent ces règles sur une base volontaire et recommande une protection par mot de passe pour les fichiers privés. Vous avez besoin d’un contrôle d’accès pour les sécuriser.
Sources
- IETF, « Robots Exclusion Protocol », septembre 2022
- Google, « How Google interprets the robots.txt specification », mis à jour le 31 août 2026
- Google Search Central, « Introduction to robots.txt », mis à jour le 10 décembre 2025
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO