En bref. La RFC 9309 impose la fusion des groupes correspondant au robot et utilise les règles avec caractère générique comme repli lorsqu’aucun groupe nommé ne correspond.

Définition : La priorité des groupes robots.txt détermine quel ensemble de règles propre à un robot d’exploration (crawler) s’applique à une requête. La RFC 9309 impose de fusionner les groupes correspondants et prévoit le groupe avec caractère générique comme solution de repli lorsqu’aucun groupe nommé ne correspond.

Points clés

La section 2.2.1 de la RFC 9309 impose une correspondance des noms de robots insensible à la casse et la fusion des groupes correspondants.
Au 17 octobre 2026, la spécification robots.txt de Google indique que ses robots sélectionnent l’agent utilisateur (user agent) correspondant le plus spécifique, quel que soit l’ordre des groupes.
Google publie une bibliothèque d’analyse et de correspondance robots.txt accompagnée d’un exécutable permettant de tester une URL et un agent utilisateur par rapport à un fichier.

Comment la RFC 9309 sélectionne-t-elle les groupes ?

Un groupe contient une ou plusieurs lignes User-agent, suivies de règles. Un jeton de produit (product token) est le nom du robot utilisé pour trouver un groupe pertinent, par exemple ExampleBot. La RFC 9309 impose une correspondance insensible à la casse : modifier les majuscules et minuscules de ce nom préserve donc la correspondance.

Lorsque plusieurs groupes correspondent, leurs règles forment un groupe fusionné. La RFC l’illustre avec des groupes ExampleBot distincts : les exclusions de /foo et /bar dans un groupe se combinent avec l’exclusion de /baz dans un autre. Un groupe correspondant placé plus loin ajoute donc des règles à l’ensemble applicable.

Le caractère générique * fournit les règles de repli. Un robot disposant d’un groupe nommé correspondant applique les règles de ce groupe ; le repli s’applique en l’absence de correspondance avec un groupe nommé.

Comment Google documente-t-il la sélection et la fusion ?

La spécification de Google donne cet exemple :

user-agent: googlebot-news
disallow: /fish

user-agent: *
disallow: /carrots

user-agent: googlebot-news
disallow: /shrimp

Google fusionne les groupes googlebot-news en un groupe contenant les exclusions de /fish et /shrimp. L’exclusion de /carrots reste dans le groupe global. Pour que cette restriction s’applique aussi à Googlebot News, elle doit figurer dans les règles du groupe nommé.

La même documentation décrit la sélection lorsque les groupes googlebot-news, googlebot et * coexistent : Googlebot News suit le groupe googlebot-news, tandis que Googlebot pour la recherche Web suit googlebot. Placer le groupe avec caractère générique entre les deux conserve ces sélections. Chez Google, la sélection de l’agent utilisateur le plus spécifique et la fusion des groupes répétés applicables fonctionnent conjointement.

Quelle règle s’applique après la fusion des groupes ?

Allow autorise l’accès à un chemin correspondant ; Disallow l’exclut. La section 2.2.2 de la RFC 9309 impose de déterminer l’accès à partir du chemin correspondant le plus spécifique, mesuré en octets (bytes en anglais). En cas de règles Allow et Disallow équivalentes, Allow devrait prévaloir. Les règles en double peuvent être supprimées.

Cette comparaison des chemins s’effectue au sein du groupe fusionné applicable. La position d’une exclusion dans un groupe répété ne lui confère aucune priorité supplémentaire. Si aucune règle de chemin ne correspond, l’accès à l’URI est autorisé.

Comment un site Web peut-il vérifier un ensemble de règles fusionné ?

Le README de la bibliothèque d’analyse de Google décrit un exécutable qui teste un fichier robots.txt local avec un agent utilisateur et une URL fournis. Tester un chemin couvert par chacun des groupes répétés aide à vérifier les restrictions fusionnées. Le README précise aussi que la bibliothèque ne prend pas en charge la logique des robots qui intervient en dehors de l’analyse et de la correspondance, notamment certains comportements de repli propres aux robots.

Termes associés

Questions fréquentes

Puis-je placer un groupe visant le même robot en fin de fichier pour remplacer les règles précédentes ?

Selon la RFC 9309, les groupes correspondants fusionnent. Pour supprimer une exclusion, vous devez supprimer ou modifier la règle applicable plutôt que compter sur la position du groupe placé plus loin.

Une ligne vide sépare-t-elle les groupes ?

Une ligne vide peut figurer à l’intérieur d’un groupe. La syntaxe des groupes de la RFC 9309 autorise les lignes vides entre les lignes user-agent et entre les règles ; une nouvelle ligne user-agent placée après des règles ouvre un autre groupe.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Priorité des groupes robots.txt