En bref. OpenAI indique que les règles de robots.txt peuvent ne pas s’appliquer aux requêtes ChatGPT-User, car elles sont déclenchées par un utilisateur.
Définition : ChatGPT-User identifie certaines requêtes web de ChatGPT déclenchées par un utilisateur. Au 17 octobre 2026, la documentation d’OpenAI sur ses robots indique que les règles de robots.txt peuvent ne pas s’appliquer à ces requêtes, car elles sont déclenchées par un utilisateur.
Points clés
- La documentation d’OpenAI sur ses robots distingue ChatGPT-User de l’exploration automatique (crawl) et renvoie à OAI-SearchBot pour les exclusions de la recherche.
- Le protocole d’exclusion des robots définit les règles de robots.txt et précise qu’elles ne constituent pas une autorisation d’accès.
- La spécification HTTP Semantics définit un défi d’authentification (challenge) qu’un serveur peut envoyer lorsqu’une requête ne contient pas d’identifiants valides.
Que couvre la réserve formulée par OpenAI ?
Le document Overview of OpenAI Crawlers d’OpenAI indique qu’une question posée par un utilisateur peut conduire ChatGPT à consulter une page web au moyen de ChatGPT-User. La raison donnée pour cette réserve sur robots.txt est que l’action est déclenchée par l’utilisateur. OpenAI emploie la formulation « les règles de robots.txt peuvent ne pas s’appliquer ».
Pour un site web, la conséquence pratique est qu’une règle d’interdiction visant ChatGPT-User ne constitue pas un moyen fiable d’empêcher une visite demandée par un utilisateur. OpenAI désigne OAI-SearchBot comme le moyen de contrôler l’exploration automatique destinée à la recherche. OpenAI précise également que ChatGPT-User ne détermine pas si un contenu peut apparaître dans Search.
En quoi robots.txt diffère-t-il du contrôle d’accès ?
Un fichier robots.txt énonce des règles destinées aux robots d’exploration. La RFC 9309, section 2.3, place ce fichier au chemin /robots.txt, à la racine du service, et impose l’encodage UTF-8 ainsi que le type de média text/plain. La section 2.2.1 demande aux robots de faire correspondre leur identifiant de produit (product token) à un groupe User-agent et d’en respecter les règles.
La section de cette même spécification consacrée à la sécurité explique que les chemins énumérés dans robots.txt sont exposés publiquement. Elle recommande une mesure de sécurité adaptée à l’application et donne l’authentification HTTP comme exemple pour contrôler l’accès aux contenus protégés.
L’authentification HTTP permet à un serveur de demander des identifiants en réponse à une requête. La RFC 9110, section 15.5.2, définit 401 Unauthorized comme la réponse à une requête dépourvue d’identifiants d’authentification valides pour la ressource. Cette réponse doit contenir un en-tête WWW-Authenticate présentant un défi d’authentification applicable. Les contenus privés d’un site nécessitent donc des contrôles d’accès appliqués par son serveur, indépendamment de ses préférences d’exploration.
Qu’est-ce qui identifie une requête ChatGPT-User ?
Une chaîne d’agent utilisateur (user-agent) identifie le logiciel qui émet une requête. La documentation d’OpenAI sur ses robots publie la chaîne complète suivante pour ChatGPT-User :
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
La même documentation renvoie à https://openai.com/chatgpt-user.json pour les adresses IP publiées. Ces identifiants fournissent des références concrètes pour examiner les requêtes associées à ChatGPT-User.
Termes associés
Questions fréquentes
Puis-je utiliser robots.txt pour préserver la confidentialité de pages privées ?
Les pages privées nécessitent des contrôles d’accès appliqués par le serveur. La RFC 9309, section 3, recommande des mesures de sécurité au niveau de l’application et mentionne expressément l’authentification HTTP.
Quel agent utilisateur contrôle l’exploration automatique pour la recherche ChatGPT ?
La documentation d’OpenAI sur ses robots indique aux propriétaires de sites d’utiliser OAI-SearchBot dans robots.txt pour les exclusions de la recherche et l’exploration automatique. La réserve distincte concernant ChatGPT-User porte sur les actions déclenchées par un utilisateur.
Sources
- OpenAI, « Overview of OpenAI Crawlers », consulté le 17 octobre 2026
- IETF, « Robots Exclusion Protocol », septembre 2022
- IETF, « HTTP Semantics », juin 2022
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO