En bref. Meta-WebIndexer explore les contenus pour la recherche Meta AI, et les propriétaires de sites peuvent exprimer leurs préférences d’accès au moyen de règles robots.txt propres à ce robot.

Définition : Meta-WebIndexer est le robot d’exploration de Meta destiné à améliorer les résultats de recherche de Meta AI. Au 17 octobre 2026, Meta présente robots.txt comme le moyen d’indiquer si ce robot peut accéder au contenu d’un site web.

Points clés

La documentation de Meta sur ses robots d’exploration associe Meta-WebIndexer à la qualité des résultats de recherche et aux liens vers le contenu des sites web dans les réponses de Meta AI.
L’annonce de Meta d’avril 2024 présente la recherche de Meta AI comme un moyen d’accéder à des informations en temps réel provenant du web depuis ses applications.
Le protocole d’exclusion des robots, RFC 9309, de l’IETF définit des règles propres à chaque robot dans un fichier public situé à l’adresse /robots.txt.

Comment Meta-WebIndexer s’identifie-t-il ?

Une chaîne d’agent utilisateur (user-agent) est l’identifiant qu’un robot transmet dans une requête HTTP. La documentation de Meta sur ses robots indique cette forme courte pour Meta-WebIndexer :

meta-webindexer/1.1

La même documentation précise que les chaînes présentes dans les fichiers journaux ressemblent à ses exemples. Examiner les requêtes contenant meta-webindexer permet donc de repérer cette identité déclarée dans les journaux du serveur.

Meta décrit sa fonction comme l’amélioration de la pertinence et de l’exactitude de Meta AI grâce à l’analyse de contenus en ligne. L’entreprise associe également l’autorisation d’accès du robot à l’utilisation de liens vers le contenu des sites web dans les réponses. La documentation ne donne aucune probabilité de citation pour une page accessible.

Quelles règles robots.txt régissent son accès ?

Un fichier robots.txt publie les préférences d’exploration d’un site web. Les consignes de Meta sur robots.txt demandent aux propriétaires de sites d’ajouter une règle d’interdiction pour le robot concerné afin de le bloquer. Appliquée à Meta-WebIndexer, cette consigne donne :

User-agent: meta-webindexer
Disallow: /

Cet exemple demande au robot d’éviter tous les chemins. Une autre configuration autorise l’exploration à l’exception d’un répertoire, en adaptant l’exemple de répertoire de la même documentation :

User-agent: meta-webindexer
Allow: /
Disallow: /private/

Les règles de correspondance de la RFC 9309 utilisent le jeton de produit (product token) d’un robot, ici meta-webindexer, pour sélectionner son groupe. La correspondance du jeton est insensible à la casse. La règle dont le chemin correspondant est le plus précis s’applique : /private/ prévaut donc sur / dans le second exemple.

La norme utilise le groupe générique User-agent: * lorsqu’aucun groupe propre au robot ne correspond. Il importe donc de vérifier les deux groupes lors de l’examen d’un fichier existant. Meta demande de prévoir jusqu’à 24 heures pour la prise en compte des modifications de robots.txt, car ses robots peuvent conserver ce fichier en cache.

Quel est son lien avec les autres robots de Meta ?

La documentation de référence de Meta sur ses robots attribue à Meta-ExternalAgent l’entraînement des modèles et l’indexation directe de contenus pour améliorer les produits. Elle attribue à Meta-ExternalFetcher la récupération de liens individuels à la demande d’un utilisateur. FacebookExternalHit recueille des informations telles que les titres et les vignettes des liens partagés.

Ces noms correspondent à des fonctions et à des identifiants user-agent distincts. Selon les règles de correspondance des groupes définies par la norme, un groupe qui nomme uniquement meta-webindexer s’applique à ce jeton. La politique d’un site concernant Meta-ExternalAgent nécessite donc ses propres règles applicables.

Termes associés

Questions fréquentes

Combien de temps dois-je attendre après avoir modifié robots.txt ?

Prévoyez jusqu’à 24 heures, selon la documentation de Meta sur ses robots d’exploration. Elle attribue ce délai à la mise en cache de robots.txt.

La directive Disallow protège-t-elle les contenus privés ?

La RFC 9309 présente l’authentification HTTP comme une mesure de contrôle de l’accès aux chemins protégés. Utilisez l’authentification pour les contenus confidentiels ; robots.txt publie les préférences d’exploration et rend visibles les chemins qu’il répertorie.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO