Les règles robots.txt s’appliquent-elles aux chaînes de requête des URL ?

Définition : En octobre 2026, les règles robots.txt de Google peuvent s’appliquer aux chaînes de requête (query strings) des URL au moyen des motifs allow et disallow. Une chaîne de requête est la composante de l’URL introduite par ?.

Points clés

• La spécification robots.txt de Google définit * comme correspondant à zéro ou plusieurs caractères valides et $ comme marquant la fin de l’URL.
• La RFC 3986, section 3.4 définit la requête comme une composante distincte, qui se termine au caractère # ou à la fin de l’URL.
• Le guide de Google sur la navigation à facettes utilise explicitement disallow: /*?*color= pour restreindre l’exploration des URL filtrées.

Pourquoi Google parle-t-il de correspondance avec le chemin ?

La spécification de Google nomme cette comparaison « URL matching based on path values ». Ses exemples incluent des chaînes de requête : /fish correspond à /fish.php?id=anything, tandis que /*.php$ exclut /filename.php?parameters des correspondances.

Selon la terminologie de la RFC 3986, sections 3.3 et 3.4, le chemin se termine là où commence la requête. La requête contient des données qui, avec le chemin, contribuent à identifier une ressource. La norme autorise également / et ? dans la requête elle-même. Ces définitions des composantes expliquent la structure d’une URL ; les exemples de Google établissent comment les règles de correspondance robots.txt traitent cette structure.

Comment une règle peut-elle cibler des paramètres de filtre ?

La navigation à facettes permet aux visiteurs de filtrer les éléments affichés. Le guide de Google sur la navigation à facettes fournit cette URL :

https://example.com/items.shtm?products=fish&color=radioactive_green&size=tiny

Modifier products, color ou size change les éléments affichés. Les combinaisons de filtres peuvent créer un très grand ensemble d’URL et consommer des ressources du serveur. Pour les URL filtrées dont la présence dans les résultats de recherche n’est pas nécessaire, le guide fournit cette configuration :

user-agent: Googlebot
disallow: /*?*products=
disallow: /*?*color=
disallow: /*?*size=
allow: /*?products=all$

Les motifs placent un ? littéral avant le texte du paramètre. Le caractère générique (wildcard) qui suit permet de couvrir le texte de requête qui précède ce paramètre. Avec ces motifs, color= peut donc correspondre après un autre paramètre dans l’URL d’exemple. Le motif allow impose une fin à products=all ; l’ajout de paramètres supplémentaires supprime cette correspondance précise.

Le même guide recommande d’autoriser l’exploration des pages de chaque élément et d’une page de liste sans filtre lorsque les listes filtrées sont bloquées. Il recommande & comme séparateur de paramètres pour les URL destinées à rester explorables.

Comment vérifier les correspondances à partir d’exemples ?

La spécification de Google fournit des cas de comparaison. Les règles suivantes sont deux variantes distinctes :

disallow: /*.php
disallow: /*.php$

Le motif sans ancrage correspond à /folder/filename.php?parameters. Le motif avec ancrage de fin correspond à /filename.php et exclut /filename.php?parameters. La correspondance avec le chemin est sensible à la casse : /windows.PHP ne correspond à aucun des deux motifs.

Termes associés

• robots.txt
• Paramètres d’URL
• Navigation à facettes
• Priorité des groupes robots.txt

Questions fréquentes

? correspond-il à n’importe quel caractère unique ?

La spécification de Google répertorie * et $ comme caractères génériques. Dans les motifs de requête, ? est littéral.

Bloquer une URL contenant une requête la supprime-t-il de Google Search ?

La spécification de Google indique qu’une URL bloquée peut apparaître dans les résultats de recherche sans extrait. Robots.txt contrôle l’exploration.

Sources

1. Google, « How Google interprets the robots.txt specification », mis à jour le 31 août 2026
2. IETF, « Uniform Resource Identifier (URI): Generic Syntax », janvier 2005
3. Google, « Managing crawling of faceted navigation URLs », mis à jour le 18 décembre 2025

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO