Comment conserver les règles robots.txt par défaut de Shopify lors d’une modification ?

L'équipe Citead, mis à jour le

En bref. Conserver la boucle robots.default_groups, ajouter les directives aux groupes concernés et comparer le rendu du modèle au fichier robots.txt généré par Shopify.

Définition : Conserver les groupes de règles par défaut de Shopify consiste à garder la boucle robots.default_groups dans robots.txt.liquid et à ajouter des directives personnalisées autour de sa sortie. Chaque groupe conserve son agent utilisateur (user-agent), ses règles existantes et son éventuel plan de site (sitemap).

Points clés

Comment fonctionne la boucle par défaut ?

La référence du modèle de Shopify situe le fichier à l’emplacement templates/robots.txt.liquid. La boucle externe parcourt chaque groupe par défaut. Elle produit group.user_agent, puis chaque élément de group.rules, suivi de group.sitemap lorsque celui-ci est présent. Un agent utilisateur identifie le robot d’exploration auquel un groupe s’applique.

L’exemple d’ajout de Shopify adapte cette structure avec une directive Disallow, qui demande de ne pas explorer les chemins correspondant au motif indiqué :

{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}

  {%- if group.user_agent.value == '*' -%}
    {{ 'Disallow: /*?q=*' }}
  {%- endif -%}

  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

Où placer les directives personnalisées ?

L’exemple d’ajout de Shopify fournit le motif /*?q=* présenté ci-dessus. La condition sélectionne le groupe dont la valeur d’agent utilisateur est * ; la boucle interne des règles continue de produire chaque règle existante de ce groupe. Cet exemple illustre l’emplacement d’une restriction portant sur un paramètre de requête.

Pour un robot absent des groupes par défaut, le même guide présente un groupe distinct après la boucle par défaut. Son exemple utilise discobot. L’ajout des lignes suivantes après le bloc Liquid complet conserve la sortie de la boucle :

User-agent: discobot
Disallow: /

Que faut-il vérifier avant la publication ?

La référence du modèle de Shopify demande aux marchands d’enregistrer le contenu actuel de /robots.txt et de le comparer au rendu du modèle avant la publication. Les groupes par défaut accessibles dans Liquid peuvent différer du fichier généré par Shopify.

Le centre d’aide de Shopify relève une différence concrète : les modèles qui produisent les groupes par défaut peuvent conserver Disallow: /search et Disallow: /policies/ après la disparition de ces règles du fichier généré par défaut. L’examen de ces chemins donne un point de comparaison précis. La suppression du modèle personnalisé rétablit le fichier généré actuel.

Termes associés

Questions fréquentes

Puis-je remplacer la boucle Liquid par du texte brut ?

Vous le pouvez, mais la documentation de Shopify sur la modification du fichier le déconseille, car les règles peuvent devenir obsolètes. Conserver les objets Liquid préserve la possibilité pour Shopify de mettre à jour le fichier.

L’enregistrement du modèle fait-il réagir les robots immédiatement ?

La même documentation de Shopify indique que les modifications prennent effet instantanément, tandis que les robots peuvent réagir plus tard. Vous pouvez consulter le contenu publié à l’adresse /robots.txt de votre domaine principal.

Sources

  1. Centre d’aide Shopify, « Editing robots.txt.liquid », sans date
  2. Shopify Developers, « robots.txt.liquid », sans date
  3. Shopify Developers, « Customize robots.txt », sans date

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Testez une page et voyez quoi corriger en premier

L'analyse prend en général moins de 10 secondes et ne demande pas de compte.

400 000+ pages notées dans le benchmark public