En bref. Utilisez RobotsTxt sur chaque site de l’installation multisite Drupal, supprimez le fichier statique racine, excluez-le du scaffolding Composer et vérifiez la réponse /robots.txt de chaque nom d’hôte.

Définition : Le multisite Drupal permet d’exploiter plusieurs sites web à partir d’une base de code unique. En octobre 2026, le module RobotsTxt génère dynamiquement le fichier robots.txt et permet d’en modifier le contenu séparément pour chaque site depuis l’interface web de Drupal.

Points clés

Le README de RobotsTxt impose de supprimer ou de renommer le fichier robots.txt physique situé à la racine de l’installation Drupal pour que le module puisse traiter les requêtes.
La configuration des routes du module rend /robots.txt accessible publiquement et réserve l’accès au formulaire de modification aux utilisateurs disposant de la permission administer robots.txt.
La spécification robots.txt de Google limite la portée des règles d’un fichier à l’hôte, au protocole et au port depuis lesquels il est servi.

Comment configurer le contenu pour chaque site ?

Le README du module situe l’éditeur sous Administration > Configuration > Recherche et métadonnées > RobotsTxt. La procédure consiste à installer et à activer le module pour les sites concernés, à ouvrir l’interface d’administration de chaque site, à modifier le contenu de son fichier robots.txt, puis à l’enregistrer.

Le fichier de routage définit le chemin d’accès à l’éditeur :

/admin/config/search/robotstxt

La modification du contenu site par site est la fonctionnalité multisite documentée du module. Le contenu enregistré pour chaque site nécessite donc une vérification distincte lorsque les règles d’exploration souhaitées diffèrent de celles des autres sites partageant la base de code.

Pourquoi supprimer le fichier physique à la racine ?

Les instructions d’installation du README expliquent que le serveur web sert un fichier robots.txt statique existant avant que le module ne reçoive la requête. Renommer ou supprimer ce fichier permet de servir la réponse générée à l’adresse publique prévue.

Comme l’installation partage une base de code, cette modification nécessite une coordination entre les sites qui utilisent ce fichier racine. La vérification de la mise en place doit porter sur l’activation du module et sur les règles enregistrées pour chaque site concerné avant le retrait du fichier statique partagé.

Comment empêcher Composer de restaurer le fichier statique ?

Pour les projets utilisant Drupal Scaffolding, le README de RobotsTxt décrit une exclusion de robots.txt dans file-mapping. La correspondance à ajouter dans la configuration drupal-scaffold existante est la suivante :

"file-mapping": {
  "[web-root]/robots.txt": false
}

Ce paramètre indique à Composer d’ignorer ce fichier de base généré par le mécanisme de scaffolding. Il s’ajoute aux correspondances de fichiers déjà présentes dans le projet, en conservant leurs autres paramètres.

Comment vérifier le résultat pour chaque site ?

La route publique du module est :

/robots.txt

Ouvrir ce chemin sur le nom d’hôte de chaque site et comparer le texte renvoyé avec sa configuration enregistrée permet de vérifier le résultat servi. La spécification de Google donne https://example.com/robots.txt comme cas général et considère comme non valides les fichiers robots.txt situés dans des sous-répertoires. Des chemins de sous-répertoires différents sur un même nom d’hôte ne fournissent donc pas d’adresses robots.txt indépendantes.

Si le contenu enregistré ne s’affiche pas, la liste de vérifications de dépannage du README du module porte sur la présence persistante d’un fichier statique, la désactivation des URL simplifiées (clean URLs) et la fonctionnalité Fast 404.

Termes associés

Questions fréquentes

Où trouver chaque fichier généré sur le disque ?

Le README décrit une génération dynamique et une modification depuis l’interface web propre à chaque site. Vous vérifiez le résultat à l’adresse publique /robots.txt du site.

Un blocage dans robots.txt rend-il mon site de développement privé ?

L’introduction à robots.txt de Google recommande de protéger les fichiers privés par un mot de passe, car le respect des instructions de robots.txt dépend des robots d’exploration. Vous avez besoin de contrôles d’accès pour protéger les contenus privés.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment gérer des fichiers robots.txt différents dans une installation multisite Drupal ?