En bref. AI2Bot collecte du contenu web pour l’entraînement de modèles de langage ouverts, et Ai2 publie sa chaîne User-Agent pour que les exploitants de sites web puissent filtrer ou rejeter son trafic.

Définition : AI2Bot est le robot d’exploration web (crawler) d’Ai2, un programme automatisé qui parcourt des domaines sélectionnés pour collecter du contenu web destiné à l’entraînement de modèles de langage ouverts. En octobre 2026, la notice d’exploration d’Ai2 indique que ses requêtes sont identifiées par un en-tête HTTP User-Agent publié.

Points clés

La notice d’exploration d’Ai2 précise qu’AI2Bot collecte du contenu web utilisé pour entraîner des modèles de langage ouverts.
L’annonce d’Olmo 3 d’Ai2 décrit la mise à disposition publique de jeux de données d’entraînement et d’outils pour les traiter.
Le protocole d’exclusion des robots de l’IETF définit les règles robots.txt applicables aux robots d’exploration et donne l’authentification HTTP comme exemple de protection des accès.

Que signifie la collecte pour des modèles ouverts ?

L’annonce d’Olmo 3 d’Ai2, publiée le 20 novembre 2025, situe ses travaux sur les modèles ouverts. Elle décrit la mise à disposition, en téléchargement, de collections de données d’entraînement, appelées jeux de données (datasets), ainsi que la publication d’outils open source pour les traiter.

L’annonce décrit un traitement des données d’entraînement qui comprend la suppression des doublons et le filtrage selon la qualité. La collecte constitue donc une étape d’un processus de préparation plus large. Ces précisions concernent les travaux de développement de modèles d’Ai2 ; la notice d’AI2Bot précise, quant à elle, que la collecte sert à l’entraînement de modèles de langage ouverts.

Comment un site web peut-il reconnaître les requêtes d’AI2Bot ?

Un en-tête User-Agent est un champ de requête contenant la chaîne d’identification du client. Les précisions techniques d’Ai2 indiquent que le robot utilise toujours cet en-tête lorsqu’il recherche des documents :

User-Agent: Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Ai2 autorise explicitement l’utilisation de cette chaîne pour filtrer ou rejeter le trafic du robot. Pour l’exploitant d’un site web, il s’agit de l’identifiant précis à rechercher dans les en-têtes de requêtes enregistrés et de la base documentée d’une règle de filtrage du trafic.

Comment s’articulent la politique de collecte et les contrôles d’accès ?

Dans son annonce d’Olmo 3, Ai2 déclare suivre les standards établis du web pour collecter les données d’entraînement et exclure les sites qui interdisent explicitement la collecte, y compris les contenus à accès payant. La notice d’AI2Bot ne précise pas comment ce robot traite robots.txt.

Selon la spécification du protocole de l’IETF, robots.txt se trouve à la racine du service, au chemin /robots.txt, et utilise le type de média text/plain. Les exploitants de sites web qui doivent protéger l’accès peuvent utiliser l’authentification HTTP, le mécanisme de sécurité nommé dans la spécification. La chaîne User-Agent publiée par Ai2 permet, de son côté, de filtrer les requêtes qui s’identifient comme provenant d’AI2Bot.

Termes associés

Questions fréquentes

Puis-je rejeter le trafic d’AI2Bot ?

Oui. La notice d’exploration d’Ai2 indique que vous pouvez utiliser sa chaîne User-Agent publiée pour filtrer ou rejeter le trafic du robot.

robots.txt protège-t-il les pages privées ?

Les recommandations de sécurité de l’IETF précisent que les règles robots.txt sont accessibles au public et recommandent des mesures de sécurité au niveau applicatif, comme l’authentification HTTP, pour contrôler l’accès.

À qui puis-je signaler un problème lié à la collecte ?

La page de contact d’Ai2 indique support@allenai.org pour les questions sur les modèles, les jeux de données ou la recherche, et info@allenai.org pour les demandes générales.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO