Comment préparer WordPress pour les robots d’IA avec robots.txt, le sitemap et llms.txt ?

En bref

WordPress peut générer un robots.txt sans règle propre aux robots d’IA et, depuis sa version 5.5, un index de sitemaps à /wp-sitemap.xml. La documentation WordPress sur les sitemaps, publiée le 22 juillet 2020, décrit leur activation par défaut pour les sites publics. La génération du robots.txt décrite par la documentation des réglages de lecture du 8 juin 2024 suppose une installation à la racine et l’absence de fichier physique. Vous pouvez adapter les règles destinées aux robots d’IA en modifiant le fichier effectivement servi. Un llms.txt reste facultatif : la FAQ du générateur Citead précise qu’il n’a pas d’effet démontré sur le classement. Citead recommande de commencer par vérifier vos réglages et les fichiers accessibles sur votre domaine.

Points clés

• La sortie de base de la fonction WordPress do_robots() comprend un groupe User-agent: *, une interdiction pour le chemin de l’administration et une autorisation pour admin-ajax.php.
• Le filtre WordPress robots_txt permet de modifier cette sortie par du code.
• Selon la note WordPress du 22 juillet 2020, le sitemap intégré apparaît avec WordPress 5.5. Chaque sitemap peut contenir jusqu’à 2 000 entrées par défaut, limite modifiable.
• La documentation des réglages de lecture, mise à jour le 8 juin 2024, indique que la demande de non-indexation produit une balise noindex depuis WordPress 5.3. L’accès au site reste ouvert.
• Le générateur gratuit de Citead parcourt le sitemap, jusqu’à 50 pages. Son résultat demande une relecture avant dépôt sur votre site.

Que fait WordPress par défaut pour les robots ?

WordPress prévoit des directives générales pour les robots et des sitemaps pour les sites publics. Le code de do_robots(), dont la référence renvoie à WordPress 7.1, construit sa sortie de base ainsi :

$output = "User-agent: *\n";
$public = (bool) get_option( 'blog_public' );

$output .= 'Disallow: ' . wp_parse_url( admin_url(), PHP_URL_PATH ) . "\n";
$output .= 'Allow: ' . wp_parse_url( admin_url( 'admin-ajax.php' ), PHP_URL_PATH ) . "\n";

Ces lignes calculent les chemins de l’administration à partir des adresses du site. Elles ne nomment ni GPTBot ni ClaudeBot. La fonction transmet ensuite le contenu au filtre robots_txt : le fichier visible sur votre domaine peut donc comporter des ajouts.

Le sitemap relève d’un mécanisme complémentaire. D’après la note WordPress sur la version 5.5, son index liste les sitemaps disponibles et le robots.txt généré renvoie vers cet index. Nous recommandons de commencer par ouvrir les fichiers du site avant toute modification. Cela permet de travailler sur les directives réellement publiées, y compris les adaptations déjà en place.

Où modifier le robots.txt d’un site WordPress ?

Vous pouvez gérer un fichier physique à la racine ou modifier la sortie produite par WordPress. La documentation des réglages de lecture du 8 juin 2024 précise que la génération décrite suppose une installation à la racine et l’absence de fichier robots.txt existant.

Si vous choisissez un fichier physique, demandez à la personne qui gère l’hébergement de vérifier où déposer robots.txt pour qu’il soit servi à cette adresse sur votre domaine. Notre recommandation est de conserver une copie du contenu actuel, puis de reprendre les règles encore nécessaires et la bonne adresse du sitemap. Contrôlez ensuite le fichier depuis son adresse publique.

Si vous conservez le fichier généré, la référence du filtre robots_txt décrit le point de modification prévu par WordPress. Une extension ou le code du site peut intervenir à cet endroit. Confiez cette adaptation à votre prestataire si vous ne maintenez pas vous-même le code PHP.

Nous conseillons de désigner un seul endroit où maintenir vos règles. Avant d’ajouter une directive, notez le robot concerné et le contenu auquel elle doit s’appliquer. Pour préparer ces choix, consultez Autoriser ou bloquer GPTBot, ClaudeBot et PerplexityBot : ce que change chaque ligne du robots.txt.

Comment vérifier le sitemap ?

Ouvrez /wp-sitemap.xml, puis les sitemaps qu’il référence, et cherchez les pages que vous souhaitez rendre accessibles aux moteurs. La note WordPress du 22 juillet 2020 distingue bien cet index des fichiers qui contiennent les adresses des contenus.

Par défaut, le mécanisme introduit dans WordPress 5.5 couvre les types de publications et les taxonomies publics et consultables publiquement, les archives d’auteurs et l’accueil. Une taxonomie désigne un regroupement de contenus, par exemple une catégorie. La limite de 2 000 entrées concerne chaque sitemap ; elle se règle par un filtre.

Pour contrôler votre installation, nous recommandons de procéder dans cet ordre :

1. Ouvrez l’index et suivez un lien vers le sitemap des pages ou des articles.
2. Cherchez une page importante pour votre activité et un article récemment publié.
3. Ouvrez ces adresses pour vérifier qu’elles correspondent aux contenus attendus.
4. Revenez au robots.txt et comparez sa ligne Sitemap: avec l’index réellement utilisé.

Si votre extension fournit son propre sitemap, vérifiez son adresse dans sa documentation officielle avant de modifier cette ligne. Si le sitemap intégré est indisponible, examinez le réglage de visibilité et la configuration du site avec votre prestataire. La référence WordPress de sitemaps_enabled() confirme que son activation dépend du statut public du site et peut être modifiée par un filtre.

Le réglage de visibilité bloque-t-il les robots d’IA ?

Ce réglage demande aux moteurs de ne pas indexer le site ; il laisse les visiteurs y accéder. Dans la capture de Réglages > Lecture publiée avec la documentation française de WordPress du 4 mai 2021, la case porte le libellé Demander aux moteurs de recherche de ne pas indexer ce site.

La documentation anglaise mise à jour le 8 juin 2024 rattache à WordPress 5.3 la génération d’une balise robots noindex,nofollow dans l’en-tête HTML, lorsque le thème utilise wp_head. La note sur les sitemaps indique aussi que cette demande désactive les sitemaps intégrés, sauf modification du comportement par le filtre prévu.

Nous recommandons donc de vérifier cette case lors de la mise en ligne d’un site et de consigner le choix retenu. Pour une exclusion destinée à un robot précis, reportez-vous à la documentation de son éditeur et aux règles que vous voulez lui adresser.

Les guides OAI-SearchBot, GPTBot et ChatGPT-User : les trois robots d’OpenAI et ce que fait chacun et Google-Extended et Applebot-Extended : ce que ces directives bloquent selon Google et Apple complètent cette lecture.

Faut-il publier un llms.txt sur WordPress, et comment ?

Vous pouvez publier un llms.txt pour présenter une sélection commentée de vos pages aux assistants qui le lisent. Il n’a pas d’effet démontré sur le classement, comme l’indique la FAQ du générateur Citead. Le guide Google Search Central mis à jour le 10 juillet 2026 précise que Google Search ignore ces fichiers pour la visibilité et le classement, y compris dans ses fonctionnalités d’IA.

La proposition llmstxt.org décrit un fichier Markdown avec le nom du site en titre principal. Elle prévoit aussi un résumé et des listes de liens auxquels vous pouvez ajouter des descriptions. Nous recommandons de sélectionner des pages qui expliquent votre activité et répondent aux questions de vos visiteurs. Relisez chaque description en la comparant à la page correspondante.

Le générateur Citead lit le sitemap et extrait des informations de chaque page, dont le titre et le premier paragraphe, dans la limite annoncée de 50 pages. Pour un site plus vaste, contrôlez particulièrement la sélection obtenue. La FAQ demande un dépôt à la racine, en texte brut text/plain encodé en UTF-8, puis une régénération après chaque refonte. Faites vérifier le fichier à l’adresse /llms.txt après son dépôt.

Dans les essais contrôlés présentés par Vercel et Ora le 28 août 2026, ajouter llms.txt, des données JSON-LD ou des sitemaps n’a pas changé la récupération d’une réponse déjà présente dans le HTML renvoyé par le serveur. Ce résultat concerne la présence de la réponse dans le contenu récupéré par les clients testés.

Comment contrôler le résultat ?

Nous recommandons d’ouvrir les fichiers publiés, puis de vérifier dans les journaux du serveur les requêtes des robots qui vous intéressent. Le guide de Vercel et Ora du 28 août 2026 recommande ces journaux pour contrôler l’accès réel des agents. Il précise qu’une requête depuis votre ordinateur, même avec le nom d’un robot, peut recevoir un traitement différent.

Notre recommandation est de conserver une courte fiche de contrôle avec la date, les adresses ouvertes, le contenu attendu et les anomalies constatées. Vérifiez que /robots.txt affiche vos règles, que /wp-sitemap.xml ou l’index retenu liste les sitemaps attendus, et que /llms.txt, si vous l’avez publié, contient votre texte à jour. Ouvrez également les pages auxquelles ces fichiers renvoient.

Pour examiner les passages réels, poursuivez avec Repérer les robots d’IA dans les journaux de votre serveur. Répétez ce contrôle après une refonte ou une modification des règles d’accès.

Pour aller plus loin

• Consultez llms.txt : à quoi sert ce fichier et comment le rédiger.
• Préparez vos directives avec Autoriser ou bloquer GPTBot, ClaudeBot et PerplexityBot : ce que change chaque ligne du robots.txt.
• Lisez IndexNow : signaler une page modifiée à Bing et aux moteurs qui utilisent le protocole.