En bref. Perplexity indique dans sa documentation que Perplexity-User ignore généralement les règles de robots.txt parce qu’un utilisateur a demandé la récupération.

Définition : Au 17 octobre 2026, Perplexity indique dans sa documentation que Perplexity-User ignore généralement les règles de robots.txt, car il récupère les pages à la demande des utilisateurs. Un fichier robots.txt publie des instructions destinées aux robots d’exploration ; il ne constitue pas une autorisation d’accès.

Points clés

La documentation sur les robots d’exploration de Perplexity explique cette politique par le fait que la récupération est demandée par l’utilisateur.
Le protocole d’exclusion des robots de l’IETF impose aux robots d’exploration qui l’appliquent de respecter les groupes de règles qui leur correspondent.
L’introduction à robots.txt de Google explique que les instructions de robots.txt ne peuvent pas imposer un comportement aux robots d’exploration et recommande de protéger les fichiers privés par un mot de passe.

Pourquoi Perplexity distingue-t-il les demandes des utilisateurs ?

La documentation sur les robots d’exploration de Perplexity présente Perplexity-User comme un agent prenant en charge les actions des utilisateurs dans Perplexity : une question peut déclencher la consultation d’une page pour étayer une réponse et y inclure un lien vers cette page. L’opérateur exclut l’exploration du Web et la collecte de contenus pour l’entraînement de modèles de fondation des usages déclarés de cet agent.

La même documentation attribue à PerplexityBot un rôle distinct : faire apparaître des sites Web dans les résultats de recherche et y inclure des liens vers ces sites. Elle recommande d’autoriser cet agent dans robots.txt et d’autoriser les requêtes provenant de ses plages d’adresses IP publiées. La politique d’un site concernant PerplexityBot porte donc sur une catégorie de requêtes différente de celle de Perplexity-User.

Que contrôle une restriction dans robots.txt ?

La section 2.2.1 de la RFC 9309 de l’IETF définit la manière dont un robot d’exploration sélectionne les règles correspondant à son identifiant de produit (product token), le nom qui sert à l’identifier. Si aucun groupe spécifique ne correspond, le robot applique le groupe générique, lorsqu’il existe. La section 2.2.2 définit la correspondance entre les règles Allow et Disallow et les chemins des URL.

Ces règles reposent sur l’application du protocole par le client. La politique déclarée de Perplexity concernant les demandes des utilisateurs rend donc une règle Disallow de robots.txt inadaptée comme seul moyen d’empêcher l’accès de Perplexity-User.

Pour les contenus dont l’accès doit être restreint, la section 3 de la RFC renvoie aux mécanismes de sécurité de la couche applicative et donne l’authentification HTTP comme exemple. Elle avertit également que l’énumération de chemins à accès restreint dans robots.txt rend ces chemins publics. La publication d’une restriction peut révéler une URL même lorsqu’un robot d’exploration la respecte.

Comment identifier une requête ?

Une chaîne user-agent est un identifiant envoyé avec une requête. La documentation sur les robots d’exploration de Perplexity publie la chaîne suivante :

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

Ses recommandations concernant le pare-feu applicatif Web associent la reconnaissance de la chaîne user-agent à la vérification de l’adresse IP, à partir des listes d’adresses IP publiées à jour. Elles préconisent aussi de surveiller les journaux pour vérifier que les règles du pare-feu fonctionnent comme prévu. Ces contrôles aident à distinguer l’agent concerné lors de l’examen des règles d’accès.

Termes associés

Questions fréquentes

Perplexity affirme-t-il que l’agent ignore toujours robots.txt ?

La politique de Perplexity emploie le qualificatif « généralement ». Elle explique ce comportement par le fait que l’utilisateur a demandé la récupération.

Comment protéger mes pages privées ?

Vous pouvez exiger une authentification. Les considérations de sécurité de l’IETF présentent l’authentification HTTP comme une mesure de contrôle d’accès aux chemins protégés.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Perplexity-User respecte-t-il les règles de robots.txt ?