En bref. Interdire MistralAI-Training tout en autorisant MistralAI-Index et MistralAI-User dans des groupes robots.txt distincts.

Définition : Au 17 octobre 2026, Mistral documente des identifiants d’agent utilisateur (user-agent tokens) distincts pour la collecte destinée à l’entraînement, l’indexation pour la recherche et l’accès à la demande de l’utilisateur ; ces noms servent à déterminer les règles applicables aux robots. Un fichier robots.txt, qui définit les règles d’accès des robots, peut interdire MistralAI-Training tout en autorisant indépendamment MistralAI-Index et MistralAI-User.

Points clés

La documentation des robots de Mistral attribue la collecte destinée à l’entraînement à MistralAI-Training, l’indexation pour la recherche à MistralAI-Index et les visites de pages à la demande de l’utilisateur dans Vibe à MistralAI-User.
Le protocole d’exclusion des robots de l’IETF définit les règles de correspondance par groupe d’agents utilisateurs ; le groupe générique s’applique lorsqu’aucun groupe nommé ne correspond.
Le guide de création d’un fichier robots.txt de Google explique que le fichier s’applique au protocole, à l’hôte et au port où il est publié.

Quelles règles expriment cette politique d’accès ?

La configuration suivante associe les identifiants publiés par Mistral à la syntaxe des groupes de la RFC 9309 :

User-agent: MistralAI-Training
Disallow: /

User-agent: MistralAI-Index
Allow: /

User-agent: MistralAI-User
Allow: /

Chaque ligne User-agent ouvre un groupe distinct. Disallow: / interdit l’exploration de tous les chemins du site ; Allow: / l’autorise. Cet exemple autorise tous les chemins pour le robot d’indexation comme pour celui qui récupère les pages à la demande de l’utilisateur.

Mistral indique que les responsables de sites peuvent interdire son robot d’entraînement au moyen de ce fichier. La même documentation précise que ce robot ne sert ni à l’indexation pour la recherche ni aux requêtes en direct, et que les contenus collectés par le robot d’indexation sont exclus de l’entraînement des modèles.

Quel est l’effet des règles existantes ?

Selon les règles de correspondance des groupes de la RFC 9309, un groupe nommé correspondant fournit les règles applicables. Un groupe User-agent: * sert de recours lorsqu’aucun groupe nommé ne correspond. L’ajout de groupes explicites pour les identifiants de recherche autorise donc leur accès même si le groupe générique interdit l’exploration.

Les restrictions de chemins existantes doivent être examinées : celles qui figurent uniquement dans le groupe générique sont absentes de ces groupes nommés. Les chemins qui doivent rester exclus de la recherche doivent aussi figurer dans les groupes nommés concernés.

Plusieurs groupes correspondant au même identifiant sont fusionnés. Parmi les règles ainsi réunies, celle dont le chemin correspondant est le plus précis s’applique ; à correspondance équivalente, l’autorisation devrait prévaloir sur l’interdiction. Une règle Allow existante visant un chemin plus précis dans un groupe d’entraînement correspondant peut donc laisser ce chemin accessible malgré Disallow: /. L’ajout du blocage de l’entraînement nécessite ainsi l’examen du fichier complet.

Comment vérifier le fichier publié ?

Le guide de création de Google place robots.txt à la racine de l’hôte et exige un fichier texte encodé en UTF-8. Pour vérifier son accessibilité, il indique d’ouvrir l’adresse du fichier dans une fenêtre de navigation privée et de confirmer que son contenu s’affiche.

Le guide utilise ce modèle d’adresse :

https://example.com/robots.txt

Pour un site utilisant plusieurs hôtes ou protocoles, le même guide limite la portée de chaque fichier à son propre protocole, hôte et port. Une copie sur un sous-domaine laisse donc les règles d’un autre sous-domaine indépendantes. Comparer le fichier servi aux groupes prévus permet de vérifier ce que les robots peuvent lire après le déploiement.

Termes associés

Questions fréquentes

Dois-je bloquer MistralAI-User pour refuser la collecte destinée à l’entraînement ?

La documentation de Mistral désigne MistralAI-Training comme l’identifiant de la collecte destinée à l’entraînement. Vous pouvez cibler cet identifiant tout en laissant autorisé le groupe d’accès à la demande de l’utilisateur.

Puis-je maintenir l’exclusion de certains chemins tout en autorisant la recherche ?

Oui. Selon la RFC 9309, vous pouvez placer des règles Disallow propres à certains chemins dans les groupes de recherche correspondants. Les règles de chemins plus précises priment sur Allow: /.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment bloquer l’entraînement de Mistral tout en autorisant la recherche ?