En bref. Utiliser un groupe GPTBot avec Disallow: / et un groupe OAI-SearchBot distinct avec Allow: /, puis vérifier les règles existantes et l’accès au serveur.

Définition : Bloquer GPTBot tout en autorisant OAI-SearchBot repose sur des groupes distincts dans robots.txt, un fichier qui déclare les règles d’accès des robots d’exploration (crawlers). Au 17 octobre 2026, OpenAI présente ces paramètres d’entraînement et de recherche comme indépendants.

Points clés

La documentation d’OpenAI sur ses robots d’exploration attribue à GPTBot l’exploration de contenus potentiellement utilisés pour l’entraînement des modèles, et à OAI-SearchBot la recherche dans ChatGPT.
Le Robots Exclusion Protocol de l’IETF impose aux robots de combiner les règles des groupes correspondant au même nom d’agent utilisateur (user-agent).
OpenAI publie les plages réseau de son robot de recherche sous forme d’entrées ipv4Prefix dans son fichier searchbot.json.

Quelles règles robots.txt permettent de séparer les robots ?

La documentation d’OpenAI sur ses robots d’exploration prévoit explicitement d’autoriser OAI-SearchBot tout en interdisant GPTBot. La configuration suivante applique ce choix avec la syntaxe des groupes et des chemins du Robots Exclusion Protocol de l’IETF :

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent identifie le robot auquel s’appliquent les règles qui suivent. Disallow: / interdit l’accès aux chemins commençant par /, tandis que Allow: / l’autorise. Chaque robot possède son propre groupe, car la ligne User-agent qui suit une règle ouvre un nouveau groupe.

Le même protocole impose de placer le fichier à la racine du service, au chemin /robots.txt, de l’encoder en UTF-8 et de le servir avec le type text/plain. Dans cet exemple, la politique s’applique à tous les chemins pour chaque robot nommé. Les restrictions existantes sur certains chemins doivent être examinées avant d’ajouter une autorisation couvrant tous les chemins.

Quel effet les groupes existants ont-ils sur cette configuration ?

Selon les règles de correspondance des groupes de l’IETF, le groupe générique User-agent: * s’applique lorsqu’aucun groupe nommé ne correspond au robot. Un groupe explicite OAI-SearchBot fournit donc ses propres règles. Les restrictions d’un groupe générique doivent être répétées dans ce groupe nommé si elles doivent également s’appliquer à OAI-SearchBot.

Les groupes qui nomment OAI-SearchBot sont combinés. Ajouter un groupe à la fin du fichier n’efface pas un groupe correspondant situé plus haut. Parmi les règles combinées, le chemin correspondant le plus long est prioritaire ; lorsque les règles d’autorisation et d’interdiction sont équivalentes, le protocole indique que l’autorisation devrait prévaloir. Il faut donc examiner chaque groupe correspondant pour préserver les restrictions sur des chemins particuliers.

Placer les deux noms de robots au-dessus d’une même règle Disallow: / les réunit dans un seul groupe et applique le blocage aux deux. Des règles distinctes sous chaque nom expriment les politiques indépendantes.

Que faut-il vérifier après avoir modifié le fichier ?

Les consignes d’OpenAI sur ses robots d’exploration recommandent à la fois d’autoriser OAI-SearchBot dans robots.txt et de permettre les requêtes provenant de ses plages d’adresses IP publiées. Les règles d’accès du serveur ou du pare-feu doivent donc être examinées en même temps que le fichier. OpenAI indique que ses systèmes de recherche peuvent mettre environ 24 heures à prendre en compte une modification de robots.txt.

Les exigences d’accès de l’IETF donnent un contrôle concret à effectuer après le déploiement : récupérer le fichier public /robots.txt et vérifier qu’il renvoie les règles prévues en texte brut. Le protocole décrit robots.txt comme un mécanisme d’instructions destiné aux robots d’exploration ; il recommande des mesures de sécurité au niveau de la couche applicative pour protéger les contenus à accès restreint.

Termes associés

Questions fréquentes

Puis-je conserver l’exploration pour la recherche tout en refusant celle de GPTBot pour l’entraînement ?

Oui. La documentation d’OpenAI sur ses robots d’exploration décrit explicitement cette combinaison. Des groupes distincts pour GPTBot et OAI-SearchBot expriment vos choix pour chaque usage.

Dois-je inclure une chaîne d’identification de navigateur ou une version du robot ?

Utilisez le nom du robot dans la ligne User-agent. La spécification de l’IETF sur les agents utilisateurs distingue cet identifiant de produit (product token) de la chaîne d’identification plus longue envoyée dans une requête HTTP.

Cette configuration contrôle-t-elle aussi les requêtes de ChatGPT-User ?

La même documentation d’OpenAI décrit ChatGPT-User comme chargé des actions déclenchées par l’utilisateur et précise que les règles robots.txt peuvent ne pas s’appliquer à ces requêtes. Utilisez OAI-SearchBot pour gérer l’exploration automatique destinée à la recherche.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment bloquer GPTBot sans bloquer OAI-SearchBot ?