En bref. Cohere déclare n’utiliser aucun robot d’entraînement Cohere et présente Coherebot comme un exemple conditionnel de robots.txt.
Définition : La politique de Cohere sur les robots d’exploration (crawlers) expose sa position officielle sur la collecte automatisée de contenus web pour l’entraînement des modèles. Au 17 octobre 2026, Cohere déclare n’utiliser aucun robot ni agent utilisateur (user agent) Cohere pour explorer le Web ou en extraire des contenus afin d’entraîner des modèles de fondation.
Points clés
- La documentation sur les robots d’exploration de Cohere indique « N/A » pour le nom et la description du robot, et présente
Coherebotdans un exemple de blocage conditionnel. - Le protocole d’exclusion des robots, RFC 9309, de l’IETF définit la manière dont les robots font correspondre leur nom à des groupes de règles d’accès aux sites web.
- Le guide de création d’un fichier robots.txt de Google précise qu’un fichier s’applique à son protocole, à son hôte et à son port.
Que couvre la déclaration de Cohere ?
La documentation de Cohere porte sur l’exploration du Web ou l’extraction automatisée de contenus web (scraping) pour entraîner des modèles de fondation. La politique qu’elle énonce exige que les robots soient conçus pour respecter robots.txt, le fichier par lequel les sites publient leurs règles d’accès destinées aux robots d’exploration.
Cohere indique que les éventuels futurs robots ou agents utilisateurs destinés à l’entraînement figureront dans le tableau de cette page, avec les informations permettant de les bloquer. L’exemple décrit donc un mécanisme de contrôle prévu pour un usage éventuel ; le tableau ne recense aucun robot d’entraînement actif.
Que signifie l’exemple Coherebot ?
L’exemple conditionnel de Cohere contient les lignes suivantes :
User-agent: Coherebot
Disallow: /
Un identifiant de produit (product token) est le nom du robot utilisé pour sélectionner les règles. Selon la RFC 9309, User-agent sélectionne un groupe correspondant à cet identifiant, et Disallow désigne les chemins exclus de l’exploration. La barre oblique couvre les chemins commençant à la racine du site. La comparaison des noms de robots ne tient pas compte de la casse.
La présence de cet exemple ne permet d’établir ni l’existence d’un robot en activité ni l’identifiant observé dans ses requêtes. Cohere indique que le blocage d’adresses IP peut empêcher l’accès au fichier robots.txt et rendre peu fiable une opposition durable à la collecte.
Comment vérifier la portée de la règle sur un site ?
Le guide de création d’un fichier robots.txt situe le fichier à la racine de l’hôte concerné. Les règles de https://example.com/robots.txt s’appliquent à cet hôte et à ce protocole ; un sous-domaine nécessite son propre fichier applicable.
La RFC 9309 exige un fichier encodé en UTF-8 et servi avec le type de média text/plain. Elle impose également aux robots de fusionner les groupes correspondant au même identifiant. Lorsqu’aucun groupe spécifique ne correspond, le groupe générique User-agent: * s’applique s’il existe. L’examen du fichier complet est donc nécessaire pour interpréter une règle visant un robot nommé.
Termes associés
Questions fréquentes
Dois-je considérer Coherebot comme un robot d’entraînement actif ?
La documentation de Cohere présente ce nom comme un exemple pour une éventuelle exploration future. Vous pouvez suivre son journal des modifications ou son flux RSS pour connaître les mises à jour de sa politique.
Une règle robots.txt protège-t-elle les contenus privés ?
La RFC 9309 décrit robots.txt comme un ensemble d’instructions destinées aux robots d’exploration et précise que ces règles ne constituent pas une autorisation d’accès. Vous devez utiliser une mesure de sécurité adaptée pour protéger les contenus privés.
Sources
- Cohere, « Cohere Web Crawlers », sans date
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
- Google Search Central, « How to write and submit a robots.txt file », sans date
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO