En bref. OAI-SearchBot est le robot d’exploration d’OpenAI pour la recherche, dont les contrôles d’accès dans robots.txt sont indépendants de ceux de GPTBot pour l’entraînement.
Définition : Au 17 octobre 2026, OpenAI décrit OAI-SearchBot comme son robot d’exploration web (crawler) destiné à faire apparaître les sites dans les résultats de ChatGPT search. Les propriétaires de sites contrôlent son accès au moyen de règles dans le fichier robots.txt, qui indique aux robots les chemins auxquels ils peuvent accéder.
Points clés
- La documentation d’OpenAI sur ses robots affecte OAI-SearchBot à la recherche et GPTBot à la collecte de contenus susceptibles de servir à l’entraînement des modèles.
- Les réglages indépendants des robots d’OpenAI permettent à un site d’autoriser l’exploration pour la recherche tout en refusant celle destinée à l’entraînement.
- Les indications d’OpenAI sur les mises à jour précisent que les systèmes de recherche peuvent mettre environ 24 heures à s’adapter après une modification de robots.txt.
- Le protocole d’exclusion des robots, publié sous la référence RFC 9309 en septembre 2022, place robots.txt à la racine du service.
Comment un site autorise-t-il séparément l’exploration pour la recherche et pour l’entraînement ?
La documentation d’OpenAI sur ses robots décrit des réglages distincts pour OAI-SearchBot et GPTBot. L’exemple suivant exprime cette séparation au moyen des groupes d’agents utilisateurs (user-agent) et des règles de chemin définis dans la spécification de robots.txt :
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Le groupe OAI-SearchBot autorise les chemins commençant par / ; le groupe GPTBot les interdit. Cet exemple de configuration combine les mécanismes de contrôle documentés. La méthode d’accès prévue par la norme impose que le fichier soit accessible à l’emplacement /robots.txt, encodé en UTF-8 et servi avec le type de média text/plain.
Comment les règles robots.txt existantes s’appliquent-elles ?
Les règles de la norme relatives aux agents utilisateurs imposent une correspondance insensible à la casse pour les noms des robots. Lorsqu’un groupe nommé correspond au robot, ses règles s’appliquent. Le groupe générique, identifié par User-agent: *, s’applique lorsqu’aucun groupe nommé ne correspond. L’ajout d’un groupe OAI-SearchBot nécessite donc de vérifier les restrictions de chemin auparavant exprimées uniquement dans le groupe générique.
Lorsque plusieurs groupes correspondent au même robot, la norme impose de combiner leurs règles. Parmi ces règles, la spécification de correspondance des chemins retient le chemin correspondant le plus précis, selon sa longueur en octets. Un groupe nommé peut donc autoriser le chemin racine tout en restreignant des préfixes de chemin plus longs au moyen de règles d’interdiction. La correspondance des chemins devrait être sensible à la casse ; une règle d’autorisation équivalente devrait primer sur une règle d’interdiction.
OpenAI recommande également d’autoriser les requêtes provenant des plages d’adresses IP publiées dans sa documentation sur ses robots, qui renvoie vers https://openai.com/searchbot.json.
Termes associés
Questions fréquentes
Pouvez-vous autoriser OAI-SearchBot tout en bloquant GPTBot ?
Oui. Les réglages des robots d’OpenAI traitent les accès pour la recherche et pour l’entraînement de manière indépendante, comme l’illustre la configuration ci-dessus.
Le blocage d’OAI-SearchBot supprime-t-il tous les liens vers votre site ?
La documentation d’OpenAI sur ses robots indique que les sites qui refusent cet accès sont exclus des réponses de ChatGPT search, mais peuvent encore apparaître sous forme de liens de navigation.
Sources
- OpenAI, « Overview of OpenAI Crawlers », consulté le 17 octobre 2026
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO