En bref. Un groupe robots.txt propre à un robot n’hérite pas des règles d’un groupe générique distinct ; les exclusions destinées à ce robot doivent figurer dans les règles qui lui sont applicables.

Définition : Un groupe robots.txt associe des noms de robots d’exploration à des règles d’exploration ; un groupe propre à un robot n’hérite pas des règles d’un groupe User-agent: * distinct. Selon la RFC 9309, le groupe générique fournit les règles de repli lorsqu’aucun groupe ne correspond à l’identifiant de produit (product token) du robot, c’est-à-dire au nom qu’il utilise pour trouver les règles qui lui sont applicables.

Points clés

La RFC 9309 impose une correspondance des identifiants de produit insensible à la casse et la fusion des groupes qui correspondent au même identifiant.
Au 17 octobre 2026, la spécification robots.txt de Google indique explicitement que les groupes propres à un agent utilisateur (user agent) et les groupes génériques globaux ne sont pas combinés.
Le guide de création du fichier de Google autorise plusieurs lignes User-agent dans un groupe, ce qui permet aux robots nommés de partager les règles qui suivent.

Comment fonctionne le repli ?

Un groupe se compose de lignes User-agent suivies de règles telles que Disallow, qui interdit l’exploration des chemins correspondants, et Allow, qui l’autorise. Les règles de sélection des groupes de la RFC 9309 recherchent d’abord une correspondance avec l’identifiant de produit du robot. Les groupes correspondants sont combinés. Le groupe générique s’applique si aucun groupe correspondant n’existe.

Le repli concerne la sélection du groupe. L’absence d’un chemin dans les règles d’un groupe propre à un robot ne déclenche pas une seconde recherche dans le groupe générique. La même RFC précise qu’une URL est autorisée lorsqu’aucune règle du groupe applicable ne lui correspond. Si aucun groupe correspondant ni aucun groupe générique n’existe, aucune règle ne s’applique.

Que montre l’exemple de Google ?

L’exemple de regroupement de Google contient les groupes suivants :

user-agent: googlebot-news
disallow: /fish

user-agent: *
disallow: /carrots

user-agent: googlebot-news
disallow: /shrimp

Google fusionne les groupes googlebot-news en un ensemble de règles qui exclut /fish et /shrimp. L’exclusion distincte de /carrots reste dans le groupe générique. Pour Googlebot News, ce fichier autorise donc /carrots, car les règles qui lui sont applicables ne contiennent aucune exclusion correspondante.

La même spécification indique que l’ordre des groupes est sans importance. Placer le groupe générique avant les groupes nommés ne change pas leur signification. Google sélectionne l’agent utilisateur correspondant le plus spécifique ; son exemple documenté sélectionne googlebot-news pour Googlebot News même lorsqu’un groupe googlebot existe également.

Comment conserver l’exclusion commune ?

Selon la séparation documentée par Google entre groupes spécifiques et groupes globaux, une exclusion destinée au robot nommé doit figurer dans les règles qui lui sont applicables. Cette adaptation de l’exemple de Google exclut également /carrots pour Googlebot News :

user-agent: *
disallow: /carrots

user-agent: googlebot-news
disallow: /fish
disallow: /shrimp
disallow: /carrots

La ligne répétée rend explicite la politique souhaitée. La vérification d’un groupe propre à un robot nouvellement ajouté comprend donc le contrôle des exclusions génériques qui doivent continuer à s’appliquer à ce robot. La correspondance des chemins s’effectue ensuite au sein des règles sélectionnées : la RFC impose l’utilisation de la règle de chemin correspondante la plus spécifique.

Termes associés

Questions fréquentes

Dois-je répéter chaque exclusion générique pour un robot nommé ?

Vous devez inclure chaque exclusion destinée à ce robot dans le groupe ou les groupes qui lui sont applicables. La RFC 9309 fait du groupe générique un groupe de repli : les exclusions qui figurent uniquement dans ce groupe ne sont donc pas reprises.

Le premier groupe correspondant l’emporte-t-il ?

Google documente la sélection de l’agent utilisateur correspondant le plus spécifique et la fusion des groupes répétés pour cet agent utilisateur. L’ordre dans le fichier ne détermine pas lequel de ces groupes prend effet.

Une règle Allow entre-t-elle en concurrence avec une règle Disallow du groupe générique ?

Les règles sont mises en concurrence au sein du groupe applicable après la sélection et la fusion des groupes. Chez Google, le groupe générique distinct ne fournit aucune règle de chemin lorsqu’un groupe spécifique s’applique.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Un groupe robots propre à un robot hérite-t-il des règles génériques ?