En bref. Interdire meta-externalagent et autoriser facebookexternalhit dans des groupes robots.txt distincts permet de séparer la collecte liée à l’entraînement des aperçus de liens.

Définition : Oui. Au 17 octobre 2026, Meta documente des identifiants de robots distincts (tokens) : meta-externalagent pour des usages comprenant l’entraînement de modèles d’IA et facebookexternalhit pour les aperçus de liens partagés. Chacun peut ainsi faire l’objet de règles robots.txt distinctes.

Points clés

La documentation de Meta sur ses robots d’exploration présente Meta-ExternalAgent comme un robot servant à entraîner des modèles fondamentaux d’IA (foundation models) ou à améliorer des produits par l’indexation directe de contenus. FacebookExternalHit recueille les informations nécessaires aux aperçus de liens partagés.
Le protocole d’exclusion des robots de l’IETF définit le fichier /robots.txt, placé à la racine du site, et les groupes propres à chaque robot, qui associent un identifiant user-agent à des règles d’accès.
Le guide de partage de Meta indique que Sharing Debugger affiche les métadonnées extraites par le robot d’aperçu, ainsi que les erreurs et les avertissements, et déclenche une extraction du contenu de la page.

À quoi servent les différents identifiants publiés ?

Une chaîne user-agent identifie le robot d’exploration (crawler) à l’origine d’une requête. La documentation de Meta sur ses robots publie des chaînes distinctes pour les usages suivants :

meta-externalagent collecte des contenus pour des usages comprenant l’entraînement de modèles fondamentaux et l’amélioration de produits par l’indexation.
facebookexternalhit recueille, met en cache et affiche le titre, la description et la vignette d’une page partagée sur des applications Meta telles que Facebook, Instagram et Messenger.
meta-webindexer explore le Web pour améliorer la qualité des résultats de recherche de Meta AI.
meta-externalfetcher récupère des liens individuels à la demande d’un utilisateur et prend en charge des fonctions comprenant l’évaluation et l’amélioration des capacités d’IA agentique.
meta-externalads explore le Web pour des produits et services publicitaires ou liés à d’autres activités commerciales.

La même documentation indique que Meta-ExternalFetcher peut ignorer robots.txt, car ses récupérations sont demandées par l’utilisateur. FacebookExternalHit peut également ignorer ce fichier lors de contrôles de sécurité ou d’intégrité. Une règle visant Meta-ExternalAgent exprime donc une préférence concernant l’activité de collecte de ce robot ; l’indexation pour la recherche et la récupération à la demande d’un utilisateur disposent d’identifiants publiés distincts.

Quelle configuration robots.txt sépare la collecte pour l’entraînement des aperçus ?

Les consignes de Meta pour robots.txt demandent aux propriétaires de sites d’ajouter une règle d’interdiction pour le robot concerné. La configuration suivante applique cette consigne à Meta-ExternalAgent et autorise explicitement le robot d’aperçu :

User-agent: meta-externalagent
Disallow: /

User-agent: facebookexternalhit
Allow: /

Ces groupes se placent dans /robots.txt. Selon la RFC 9309, la correspondance des identifiants ne tient pas compte de la casse. Un robot utilise le groupe générique User-agent: * lorsqu’aucun groupe ne lui correspond. Un groupe explicite pour les aperçus est donc utile lorsque le fichier contient déjà une restriction générique.

La même norme exige de combiner les règles de plusieurs groupes correspondant au même identifiant. Les groupes existants pour chacun de ces identifiants doivent être examinés avant d’intégrer cet exemple au fichier du site. Des règles portant sur des chemins plus précis peuvent modifier le résultat pour certaines URL. L’exemple autorise le robot d’aperçu sur l’ensemble du site ; toute restriction de chemin souhaitée nécessite donc des règles correspondantes dans son groupe.

Robots.txt communique des consignes d’exploration. La RFC 9309 traite séparément la sécurité des accès et cite l’authentification HTTP comme mesure de contrôle d’accès.

Comment vérifier l’aperçu après la modification des règles ?

La documentation de Meta sur ses robots prévoit un délai pouvant atteindre 24 heures pour la prise en compte des modifications de robots.txt, car les robots peuvent mettre ce fichier en cache. Ses exemples de journaux identifient les requêtes d’aperçu par facebookexternalhit/1.1 et celles liées à l’entraînement par meta-externalagent/1.1.

Le guide de partage demande aux propriétaires de sites de saisir l’URL d’une page dans Sharing Debugger pour examiner les métadonnées extraites et les erreurs. Il décrit également un test de l’URL problématique avec la chaîne user-agent de Facebook afin de repérer les problèmes de traitement de cet identifiant. Cette vérification permet de déterminer si le robot d’aperçu peut récupérer la page après la modification des règles d’accès.

Termes associés

Questions fréquentes

Quel identifiant dois-je interdire pour l’exploration liée à l’entraînement ?

Utilisez meta-externalagent. La documentation de Meta sur ses robots cite l’entraînement de modèles fondamentaux d’IA parmi ses usages et demande aux propriétaires de sites d’interdire le robot concerné.

Dois-je autoriser Meta-WebIndexer pour conserver les aperçus de liens ?

Meta attribue les aperçus de liens partagés à facebookexternalhit et l’indexation pour la recherche Meta AI à meta-webindexer. Définissez séparément les règles de ces identifiants publiés selon les accès que vous souhaitez autoriser.

Comment vérifier si Facebook peut lire les métadonnées de mon aperçu ?

Saisissez l’URL de votre page dans Sharing Debugger. Le guide de partage de Meta indique que cet outil affiche les balises meta extraites, les erreurs et les avertissements, et déclenche une nouvelle extraction.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Peut-on bloquer le robot d’exploration de Meta pour l’IA tout en autorisant les aperçus de liens ?