En bref. MistralAI-Training collecte du contenu web pour les jeux de données d’entraînement des modèles et dispose d’une méthode d’exclusion dédiée dans robots.txt.

Définition : Au 17 octobre 2026, MistralAI-Training est le robot d’exploration web (crawler) de Mistral qui collecte du contenu pour contribuer à constituer des jeux de données d’entraînement des modèles. Les propriétaires de sites peuvent interdire l’accès à ce robot dans robots.txt, le fichier qui publie les règles d’accès des robots d’exploration.

Points clés

La documentation des robots de Mistral affecte MistralAI-Training à la collecte pour l’entraînement et fournit une méthode d’exclusion dans robots.txt.
Le protocole d’exclusion des robots prévoit un fichier /robots.txt en minuscules à la racine du service, encodé en UTF-8 et servi avec le type text/plain.
La définition de User-Agent dans la norme HTTP décrit un en-tête de requête contenant des informations sur le logiciel à l’origine de la requête, avec des noms de produits et, éventuellement, leurs versions.

Que collecte MistralAI-Training ?

La documentation des robots de Mistral décrit une collecte de contenu web destinée à contribuer à la constitution de jeux de données pour entraîner les modèles Mistral. Elle confie l’indexation automatisée pour la recherche à un robot distinct, MistralAI-Index. MistralAI-Training n’effectue pas d’indexation pour la recherche et ne répond pas aux requêtes des utilisateurs en temps réel dans Vibe.

Cette distinction donne à l’identifiant utilisé dans robots.txt un rôle précis : contrôler le robot d’entraînement de Mistral. Une règle adressée à MistralAI-Training vise l’activité de collecte de ce robot.

Comment fonctionne le contrôle par robots.txt ?

La méthode d’exclusion documentée par Mistral utilise le nom du robot dans robots.txt. La configuration suivante exprime une règle d’interdiction sur l’ensemble du site :

User-agent: MistralAI-Training
Disallow: /

Dans le protocole d’exclusion des robots, l’identifiant de produit (product token) est le nom du robot utilisé pour sélectionner un groupe de règles. Ici, User-agent sélectionne MistralAI-Training et Disallow: / correspond aux chemins qui commencent à la racine.

La sélection des groupes ne tient pas compte de la casse. Plusieurs groupes correspondant au même identifiant sont combinés : un groupe MistralAI-Training déjà présent doit donc aussi être examiné. Les règles de chemin retiennent le chemin correspondant le plus spécifique ; une règle Allow existante plus spécifique peut créer une exception à l’interdiction définie à la racine.

Ces règles de correspondance sont celles de la norme. Elles expliquent comment lire la configuration en complément de la méthode d’exclusion publiée par Mistral.

Comment vérifier la configuration ?

La norme robots.txt situe le fichier à l’adresse /robots.txt. L’examen de ce fichier accessible publiquement permet de vérifier la présence du groupe prévu. La norme recommande d’ignorer les règles placées avant tout groupe User-agent : la ligne qui introduit le groupe a donc son importance.

Pour identifier les requêtes, la chaîne d’identification du robot publiée par Mistral contient cet identifiant avec un numéro de version :

MistralAI-Training/1.0

Le groupe robots.txt utilise MistralAI-Training sans le suffixe de version. La norme décrit l’identifiant de produit utilisé dans robots.txt comme une sous-chaîne de la chaîne d’identification de la requête.

Termes associés

Questions fréquentes

Puis-je bloquer la collecte pour l’entraînement tout en conservant des contrôles distincts pour la recherche ?

Oui. La documentation des robots de Mistral attribue des noms distincts à l’entraînement et à l’indexation pour la recherche : MistralAI-Training et MistralAI-Index. Vous pouvez cibler l’identifiant du robot d’entraînement dans un groupe robots.txt dédié.

robots.txt protège-t-il les contenus privés ?

La norme robots.txt recommande des mesures de sécurité au niveau applicatif, dont l’authentification HTTP, pour contrôler l’accès. Pour les contenus à accès restreint, utilisez ce type de protection ; robots.txt rend publiques les instructions destinées aux robots.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO