En bref. AIOSEO écrit les règles Unwanted Bots dans le contenu dynamique de robots.txt généré par WordPress, tandis qu’un fichier statique reste inchangé.

Définition : Le réglage Unwanted Bots d’AIOSEO ajoute les règles des robots d’exploration (crawlers) sélectionnés au contenu dynamique de robots.txt généré par WordPress. Un fichier robots.txt statique est un fichier distinct qu’AIOSEO ne modifie pas : le réglage peut donc sembler activé alors que la réponse à /robots.txt ne contient pas ces règles.

Points clés

La documentation Crawl Cleanup d’AIOSEO indique que l’onglet Unwanted Bots détermine quels robots ne sont pas autorisés à explorer le site.
Ce réglage permet de sélectionner les robots individuellement ou de choisir All AI Crawlers, qui s’applique à tous les robots répertoriés dans cette interface.
Lorsqu’une case sous Block AI Crawlers est cochée, AIOSEO ajoute des règles au robots.txt dynamique créé par WordPress.
Un fichier robots.txt statique se trouve en dehors de ce circuit de génération. AIOSEO précise que l’extension n’écrit pas dans ce fichier et recommande de le supprimer pour utiliser le contenu dynamique généré par WordPress.
WordPress propose un filtre robots_txt dans son implémentation de do_robots(), ce qui permet aux extensions de modifier le contenu généré.

Que modifie le réglage Unwanted Bots d’AIOSEO ?

Au 14 août 2026, la documentation d’AIOSEO indique que Unwanted Bots détermine quels robots ne sont pas autorisés à explorer le site. Elle précise aussi que la sélection d’un robot sous Block AI Crawlers conduit All in One SEO à ajouter des règles au robots.txt dynamique créé par WordPress.

La distinction porte sur l’endroit où la règle est écrite. La réponse dynamique est produite par le point de terminaison robots de WordPress : AIOSEO peut donc ajouter ses règles pendant que WordPress construit cette réponse. Un fichier statique est distinct de ce contenu généré. La même documentation d’AIOSEO précise que l’extension n’écrit pas dans un fichier robots.txt statique et recommande de supprimer ce fichier pour que la version de WordPress soit utilisée.

Ce fonctionnement explique un cas de diagnostic précis : le réglage peut être activé dans WordPress, alors qu’une requête vers /robots.txt renvoie encore une réponse statique sans le groupe correspondant au robot sélectionné. Le navigateur ou le robot se fonde sur la réponse reçue à ce chemin ; les règles générées sont donc absentes du contenu examiné.

Comment WordPress fournit-il le contenu utilisé par AIOSEO ?

La référence de do_robots() de WordPress décrit cette fonction comme affichant le contenu du fichier robots.txt par défaut. Son code source envoie une réponse en texte brut et applique le filtre robots_txt au contenu produit.

apply_filters( 'robots_txt', $output, $public );

Ce filtre constitue le point d’intégration utilisé pour le réglage d’AIOSEO. Une extension peut modifier la chaîne générée lorsque WordPress traite la requête du fichier robots. Un fichier servi indépendamment de cette réponse générée ne passe pas par ce filtre, ce qui explique pourquoi la règle d’AIOSEO peut manquer alors que le réglage est enregistré.

Comment vérifier les règles reçues par un robot ?

La vérification commence par la ressource exacte exigée à la racine par le protocole d’exclusion des robots (Robots Exclusion Protocol) : /robots.txt. La RFC 9309 précise que les règles doivent être accessibles dans un fichier nommé /robots.txt, au premier niveau du chemin du service. Il faut demander cette URL sur le nom d’hôte public du site et examiner le texte renvoyé.

Le protocole organise les règles en groupes. Un groupe commence par une ligne user-agent, suivie des règles applicables à cet identifiant de produit (product token). Son exemple utilise cette forme :

user-agent: ExampleBot
disallow: /foo

La RFC 9309 précise que les robots recherchent une correspondance avec l’identifiant de produit sans tenir compte de la casse et respectent les règles du groupe correspondant. Si aucun groupe spécifique ne correspond, le groupe user-agent: * s’applique lorsqu’il est présent. Il faut donc comparer la réponse obtenue sur le site avec les robots sélectionnés dans AIOSEO : repérer le groupe user-agent concerné et ses règles allow ou disallow, puis vérifier si la réponse provient du fichier statique ou du contenu généré par WordPress. Si les règles sélectionnées manquent, il faut supprimer le fichier statique comme le recommande AIOSEO, puis demander de nouveau /robots.txt.

Termes associés

Questions fréquentes

La sélection de All AI Crawlers crée-t-elle un fichier physique ?

La création d’un fichier physique n’est pas documentée ici. AIOSEO indique que cette sélection ajoute des règles au robots.txt dynamique créé par WordPress.

Que faire lorsqu’un fichier statique existe ?

AIOSEO recommande de supprimer le fichier robots.txt statique et d’utiliser le contenu dynamique fourni par WordPress. Vérifiez la réponse publique de /robots.txt après cette modification.

Que devez-vous comparer pendant un test ?

Comparez le groupe du robot et ses règles dans la réponse publique de /robots.txt avec les sélections de l’onglet Unwanted Bots. La RFC 9309 définit la correspondance des identifiants de produit et les règles de groupe qui déterminent les directives applicables.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Pourquoi le blocage des robots d’AIOSEO peut-il échouer avec un fichier robots.txt statique ?