En bref. Meta-ExternalFetcher récupère des liens à la demande des utilisateurs et peut contourner robots.txt, ce qui impose des contrôles d’accès effectifs pour les ressources à accès restreint.

Définition : Meta-ExternalFetcher est le robot d’exploration web (crawler) de Meta qui récupère des liens individuels à la demande d’un utilisateur. Au 17 octobre 2026, Meta indique dans sa documentation qu’il peut contourner les règles du fichier robots.txt, car ces récupérations sont demandées par les utilisateurs.

Points clés

La documentation de Meta sur ses robots d’exploration web associe Meta-ExternalFetcher à l’évaluation et à l’amélioration des capacités de l’IA qui aident à accomplir des tâches sur des sites web.
Le protocole d’exclusion des robots de l’IETF définit les règles de robots.txt et recommande l’authentification HTTP comme mesure de sécurisation de l’accès.
La spécification de la sémantique HTTP de l’IETF définit le code d’état 403 Forbidden comme le refus d’un serveur de donner suite à une requête qu’il comprend.

Qu’est-ce qui déclenche une récupération ?

La documentation de Meta sur ses robots d’exploration décrit comme déclencheur la demande d’un utilisateur portant sur un lien individuel. Elle mentionne aussi la prise en charge de l’évaluation et de l’amélioration des capacités d’IA agentique, c’est-à-dire des capacités qui aident l’IA à accomplir des tâches pour les utilisateurs en parcourant des sites web.

La même documentation attribue des fonctions distinctes aux autres robots nommés. Meta-ExternalAgent collecte du contenu web pour des usages tels que l’entraînement de modèles de fondation d’IA ou l’amélioration de produits par l’indexation directe de contenu. Meta-WebIndexer parcourt le web pour améliorer les résultats de recherche de Meta AI. Ces descriptions rendent le nom du robot pertinent pour interpréter une requête : le rôle documenté de Meta-ExternalFetcher est la récupération à la demande de l’utilisateur.

Comment s’identifie-t-il ?

Une chaîne user-agent est une chaîne d’identification qu’un client envoie avec une requête. Les exemples publiés par Meta indiquent que les entrées de journal correspondant à ce robot ressemblent à l’une de ces deux formes :

meta-externalfetcher/1.1 (+/documentation/sharing/webmasters/web-crawlers)
meta-externalfetcher/1.1

La forme courte est elle-même un exemple documenté. L’examen des requêtes peut donc rechercher le nom meta-externalfetcher sans exiger la présence du chemin de documentation entre parenthèses. Il s’agit d’exemples d’identification issus de la documentation de Meta ; la version indiquée est celle de ces exemples.

Comment gérer l’accès ?

Un fichier robots.txt exprime des consignes destinées aux robots d’exploration au moyen de règles telles que Allow et Disallow. Les consignes de Meta concernant robots.txt précisent que Meta-ExternalFetcher peut contourner ces règles pour les récupérations demandées par les utilisateurs. Une directive Disallow ne suffit donc pas à considérer qu’une ressource est protégée contre l’accès de ce robot.

Pour les contenus à accès restreint, les considérations de sécurité de la RFC 9309 recommandent une mesure de sécurité au niveau applicatif, avec l’authentification HTTP comme exemple. Elles avertissent aussi que les chemins inscrits dans robots.txt deviennent publics.

La gestion de l’accès peut se vérifier à partir de la réponse du serveur. La RFC 9110 définit 401 Unauthorized pour une requête dépourvue d’identifiants d’authentification valides et impose un défi d’authentification WWW-Authenticate dans cette réponse. Elle définit 403 Forbidden pour une requête que le serveur comprend mais refuse de satisfaire. Ces significations générales des réponses HTTP s’appliquent à l’examen des décisions d’accès à une URL.

Termes associés

Questions fréquentes

Puis-je bloquer Meta-ExternalFetcher uniquement avec robots.txt ?

La documentation de Meta indique qu’il peut contourner robots.txt, car la récupération est demandée par l’utilisateur. Pour les contenus nécessitant un accès restreint, utilisez un contrôle d’accès effectif, tel que l’authentification.

Dois-je inscrire des URL confidentielles dans robots.txt ?

La section consacrée à la sécurité du protocole d’exclusion des robots avertit que les chemins inscrits deviennent visibles publiquement. Protégez les ressources confidentielles par des contrôles de sécurité au niveau applicatif.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO