En bref. Meta-ExternalAgent collecte des contenus web notamment pour l’entraînement de modèles d’IA et l’amélioration des produits, avec des règles robots.txt propres à ce robot.

Définition : Meta-ExternalAgent est un robot d’exploration du Web (crawler), un logiciel qui récupère des contenus web, exploité par Meta. Au 17 octobre 2026, Meta indique que ses usages comprennent l’entraînement de modèles d’IA et l’amélioration des produits par l’indexation directe de contenus.

Points clés

La documentation de Meta sur ses robots d’exploration mentionne l’entraînement de modèles et l’amélioration des produits parmi les usages de Meta-ExternalAgent.
La norme HTTP, RFC 9110, définit un en-tête User-Agent qui identifie le logiciel à l’origine d’une requête au moyen de noms de produits et, éventuellement, de leurs versions.
Le protocole d’exclusion des robots (Robots Exclusion Protocol), RFC 9309, définit les règles Allow et Disallow dans robots.txt, un fichier qui publie des instructions à l’intention des robots sur les chemins autorisés.

À quoi servent les contenus collectés par Meta ?

Un robot d’exploration du Web est un logiciel qui récupère des contenus sur des sites ou des applications web. La documentation de Meta sur ses robots décrit Meta-ExternalAgent comme un robot destiné notamment à l’entraînement de modèles d’IA et à l’amélioration des produits par l’indexation directe de contenus. Le périmètre déclaré de sa collecte dépasse donc le seul entraînement des modèles.

La même documentation attribue à Meta-WebIndexer la tâche d’améliorer la qualité des résultats de recherche de Meta AI. Pour le propriétaire d’un site, cette distinction compte au moment de choisir le robot auquel s’adresse une règle robots.txt : meta-externalagent cible le robot de collecte décrit pour l’entraînement et l’amélioration des produits, tandis que meta-webindexer identifie le robot d’indexation pour la recherche.

Comment un site peut-il contrôler Meta-ExternalAgent ?

Un fichier robots.txt publie des instructions à l’intention des robots d’exploration. Les consignes de configuration de Meta indiquent aux responsables de sites d’ajouter une règle Disallow pour le robot concerné. L’exemple autorise l’exploration générale tout en excluant un répertoire :

User-agent: meta-externalagent
Allow: /
Disallow: /private/

Pour exclure l’ensemble du site, le chemin de la règle d’interdiction devient / :

User-agent: meta-externalagent
Disallow: /

Selon la RFC 9309, les robots recherchent le groupe user-agent correspondant à leur identifiant de produit sans tenir compte des majuscules et des minuscules. La règle dont le chemin correspondant est le plus spécifique s’applique. Dans l’exemple du répertoire, /private/ prend le pas sur l’autorisation plus générale /.

Meta précise que les modifications de robots.txt peuvent prendre jusqu’à 24 heures pour produire leurs effets, car les robots peuvent conserver le fichier en cache pendant cette durée. Meta recommande robots.txt pour exprimer les préférences d’exploration et décrit les balises NoAI comme un format non standard.

Comment le robot s’identifie-t-il ?

Une chaîne user-agent identifie le logiciel à l’origine d’une requête HTTP. Les exemples de journaux publiés par Meta comprennent cette forme courte :

meta-externalagent/1.1

Le groupe robots.txt utilise meta-externalagent sans le suffixe de version. Cela relie l’identifiant visible dans les journaux à la règle qui exprime les préférences d’exploration.

La norme HTTP, RFC 9110, traite aussi des logiciels qui se présentent sous l’identité d’un autre agent utilisateur. Un en-tête correspondant constitue donc une identité déclarée ; déterminer si les requêtes proviennent effectivement de Meta nécessite des éléments supplémentaires.

Termes associés

Questions fréquentes

Une règle Meta-ExternalAgent couvre-t-elle uniquement l’entraînement ?

La documentation de Meta décrit à la fois l’entraînement et l’amélioration des produits pour ce robot. Une règle adressée à son identifiant s’applique au robot dont les usages sont ainsi documentés.

Dans quel délai une modification de robots.txt prend-elle effet ?

Meta indique un délai pouvant atteindre 24 heures, car ses robots peuvent conserver robots.txt en cache. Passé ce délai, vous pouvez comparer les requêtes suivantes aux chemins couverts par la règle modifiée.

robots.txt peut-il protéger des pages confidentielles ?

La RFC 9309 précise que les règles robots.txt ne constituent pas une autorisation d’accès. Vous devez mettre en place des contrôles d’accès pour les contenus confidentiels, même lorsque leurs chemins figurent dans une règle Disallow.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO