En bref. La directive User-agent de robots.txt associe les jetons de produit des robots à des groupes de règles d’exploration, avec un groupe à astérisque comme solution de repli.

Définition : Dans la RFC 9309, la directive User-agent de robots.txt indique le jeton de produit (product token) du robot d’exploration (crawler) auquel s’applique un groupe de règles d’exploration. Ce jeton est le nom choisi par le robot ; un groupe contient des lignes User-agent suivies de règles Allow ou Disallow portant sur les chemins d’URL.

Points clés

La RFC 9309 impose une correspondance insensible à la casse entre le jeton de produit du robot et la valeur User-agent.
Au 17 octobre 2026, la spécification robots.txt de Google indique que ses robots fusionnent les groupes spécifiques correspondants et les traitent séparément du groupe global *.
Le guide de création de Google recommande de vérifier l’accès public dans une fenêtre de navigation privée et propose sa bibliothèque robots.txt pour tester la syntaxe en local.

Quel nom placer après User-agent ?

La section User-Agent de la RFC 9309 définit les jetons de produit à partir de lettres, de tirets bas et de traits d’union. Elle recommande que le jeton figure comme sous-chaîne dans la chaîne d’identification du robot, par exemple dans l’en-tête User-Agent d’une requête HTTP. Son exemple utilise ExampleBot comme jeton robots.txt au sein d’un en-tête plus long qui identifie ce robot.

Cette relation de sous-chaîne concerne la présence du jeton dans l’en-tête de la requête. Le groupe robots.txt est sélectionné par correspondance avec le jeton de produit. La casse des lettres n’a aucun effet sur cette correspondance.

Comment les groupes sont-ils sélectionnés et fusionnés ?

Selon la RFC 9309, les lignes User-agent consécutives qui précèdent les règles appartiennent au même groupe. Une fois les règles commencées, une nouvelle ligne User-agent ouvre un autre groupe. Des lignes vides peuvent figurer à l’intérieur des groupes.

Cet exemple reprend le principe des groupes répétés illustré dans la RFC :

User-agent: ExampleBot
Disallow: /foo
Disallow: /bar

User-agent: ExampleBot
Disallow: /baz

Le robot correspondant fusionne ces groupes : /foo, /bar et /baz restent donc tous interdits. Si aucun groupe nommé ne correspond, le robot suit User-agent: *, lorsque ce groupe est présent. Si aucun des deux ne correspond, aucune règle ne s’applique.

Après avoir sélectionné le groupe, le robot évalue les règles de chemin Allow et Disallow. La RFC impose de donner la priorité au chemin correspondant qui compte le plus grand nombre d’octets (bytes).

Quel comportement de correspondance Google documente-t-il ?

La spécification de Google retient l’agent utilisateur (user agent) correspondant le plus spécifique. Dans son exemple, googlebot-news sélectionne son propre groupe lorsque le fichier contient aussi des groupes googlebot et *. Googlebot, pour l’exploration du Web, sélectionne googlebot.

La même documentation précise que l’ordre des groupes n’a pas d’importance. Déplacer le groupe global au-dessus ou au-dessous d’un groupe spécifique ne change donc pas la sélection effectuée par Google. Répéter une valeur User-agent spécifique entraîne la fusion de ses règles. L’ajout d’un groupe spécifique peut ainsi modifier les restrictions applicables, car les robots de Google excluent de cette fusion les règles du groupe global.

Comment vérifier la sélection ?

Le guide de création de Google décrit l’ouverture de l’URL publique /robots.txt dans une fenêtre de navigation privée avant de tester la syntaxe. Il présente le rapport robots.txt de Search Console pour les fichiers accessibles et la bibliothèque robots.txt open source de Google pour les tests en local.

Pour un fichier contenant des groupes répétés, un test en local doit couvrir des chemins de chaque groupe correspondant. Pour un fichier contenant des groupes spécifiques et un groupe global, vérifier un chemin restreint uniquement dans le groupe global permet de mettre en évidence les règles sélectionnées par l’analyseur.

Termes associés

Questions fréquentes

Puis-je partager des règles entre plusieurs robots nommés ?

Oui. La spécification de Google montre des lignes User-agent consécutives qui partagent les règles placées à leur suite. Placez les noms avant ces règles.

Une ligne vide met-elle fin à un groupe ?

La grammaire de la RFC 9309 autorise les lignes vides au sein d’un groupe. Une fois les règles commencées, une nouvelle ligne User-agent ou la fin du fichier termine ce groupe.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Directive User-agent de robots.txt