Par Elisha Bajemon | Publié le 22 octobre 2026

CCBot et Common Crawl : que fait ce robot et pourquoi compte-t-il pour les modèles de langage ?

En bref

CCBot est le robot d’exploration de Common Crawl, une fondation à but non lucratif qui publie des archives du web accessibles à tous. Selon sa FAQ, consultée le 22 octobre 2026, le robot lit d’abord robots.txt, obéit à Crawl-delay et cesse d’explorer un site dont le fichier contient User-agent: CCBot suivi de Disallow: /. L’archive d’octobre 2026 contient 2,16 milliards de pages collectées entre le 5 et le 18 octobre. Ces archives alimentent des corpus d’entraînement : le papier de GPT-3 attribue 60 % de son mélange d’entraînement à une version filtrée de Common Crawl. Bloquer CCBot retire vos pages des archives à venir ; cela ne règle pas l’accès des robots qui servent la recherche en direct des moteurs de réponse.

Points clés

• Common Crawl se présente comme une organisation à but non lucratif de type 501(c)(3) ; ses conditions d’utilisation du 7 mars 2024 rappellent que les contenus archivés restent soumis aux droits de leurs propriétaires.
• D’après la FAQ de Common Crawl, CCBot vérifie robots.txt avant chaque page, n’exécute pas JavaScript et ralentit si le serveur répond 429 ou 5xx.
• Les crawls paraissent environ une fois par mois selon la page About ; celui d’octobre 2026 pèse 371,19 TiB non compressés.
• Les papiers de GPT-3 et de T5 décrivent des corpus dérivés de Common Crawl. Bloquer CCBot agit sur ces archives et laisse intacts les robots de recherche comme OAI-SearchBot.

Qu’est-ce que Common Crawl et sous quelles conditions ses données sont-elles diffusées ?

Common Crawl explore le web et met ses archives à disposition sans frais. Sa page About, consultée le 22 octobre 2026, la décrit comme une organisation à but non lucratif de type 501(c)(3), fondée en 2007 par Gil Elbaz, qui maintient un dépôt de données collectées depuis 2008 et totalisant plus de 10 pétaoctets, hébergé sur Amazon Web Services et téléchargeable gratuitement.

La FAQ indique que la fondation applique aussi peu de restrictions que possible au jeu de données et renvoie à ses conditions d’utilisation. Celles-ci, dans leur version du 7 mars 2024, accordent une licence limitée, non exclusive et non transférable d’accès au service, et précisent que les contenus explorés (« Crawled Content ») peuvent être soumis à des conditions distinctes fixées par leurs propriétaires. L’utilisateur s’engage à respecter les droits d’auteur et autres droits des tiers, et la clause d’indemnisation mentionne explicitement l’usage des contenus pour entraîner des systèmes d’intelligence artificielle, dont les grands modèles de langage. La présence d’une page dans l’archive ne modifie donc pas ses droits, mais la rend disponible à quiconque télécharge le corpus.

Que fait CCBot, et comment le bloquer ou l’autoriser ?

La page About indique que CCBot repose sur Apache Nutch, s’identifie par la chaîne CCBot, obéit aux directives de robots.txt et limite son rythme de requêtes vers chaque serveur. La chaîne complète publiée dans la FAQ au 22 octobre 2026 est :

CCBot/2.0 (https://commoncrawl.org/faq/)

La même FAQ décrit la séquence de visite : le robot lit d’abord robots.txt, puis, si l’exploration de la page est autorisée, la récupère par une requête HTTP GET. Il n’exécute pas JavaScript et n’utilise pas de cookies. Le jeu de données est présenté comme un échantillon du web : la fondation n’archive généralement pas un site entier, mais un sous-ensemble choisi aléatoirement.

Sur la charge serveur, la FAQ annonce un ralentissement adaptatif lorsque le serveur répond 429 ou 5xx, une attente de quelques secondes par défaut entre deux requêtes vers un même site, et le respect de Crawl-delay, avec cet exemple :

User-agent: CCBot
Crawl-delay: 2

Cette directive ne figure pas dans la RFC 9309, qui normalise User-agent, Allow et Disallow et laisse aux robots la possibilité d’interpréter d’autres enregistrements ; pour CCBot, la FAQ fait foi.

Le blocage passe par un groupe dédié, avec la chaîne d’exclusion CCBot donnée par la FAQ :

User-agent: CCBot
Disallow: /

Common Crawl précise qu’il continuera de vérifier périodiquement si le fichier a été mis à jour, sans indiquer de délai. La documentation ne décrit pas de retrait des captures déjà publiées : le billet du 17 septembre 2025 sur le registre d’opt-out, devenu « Opt-Out Ledger », publie la liste des demandes légales reçues, encourage l’usage de robots.txt et renvoie à info@commoncrawl.org, sans dire ce que deviennent les captures antérieures. Pour autoriser CCBot, aucune ligne n’est nécessaire : d’après la RFC 9309, l’accès est autorisé quand aucune règle d’un groupe ne correspond à l’URI.

À quel rythme Common Crawl publie-t-il ses archives, et quelle est leur taille ?

La page About annonce une publication environ une fois par mois, chaque crawl contenant typiquement plus de deux milliards de pages. La page Overview liste dix archives pour 2026, de CC-MAIN-2026-04 à CC-MAIN-2026-43, cette dernière étant donnée comme la plus récente sur la page Latest Crawl au 22 octobre 2026.

Le billet du 21 octobre 2026 qui l’annonce donne les chiffres suivants : données collectées entre le 5 et le 18 octobre, 2,16 milliards de pages, soit 371,19 TiB de contenu non compressé, provenant de 41,4 millions d’hôtes ou 34,3 millions de domaines enregistrés, dont 830,1 millions d’URL jamais visitées lors des crawls précédents.

Pourquoi ces archives comptent-elles pour l’entraînement des modèles de langage ?

Parce que plusieurs corpus d’entraînement publiés en sont dérivés. Le papier de GPT-3, « Language Models are Few-Shot Learners », déposé sur arXiv le 28 mai 2020 et révisé le 22 juillet 2020, décrit le téléchargement de 41 extraits mensuels de Common Crawl couvrant 2016 à 2019, soit 45 To de texte compressé avant filtrage et 570 Go après, environ 400 milliards de jetons. Sa table 2.2 attribue à « Common Crawl (filtered) » 410 milliards de jetons et un poids de 60 % dans le mélange d’entraînement ; les auteurs précisent que ce poids n’est pas proportionnel à la taille des jeux de données.

Le papier de T5, « Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer », déposé le 23 octobre 2019, décrit la construction de C4, le « Colossal Clean Crawled Corpus ». Les auteurs partent du texte extrait fourni par Common Crawl, présenté comme une archive publique produisant environ 20 To de texte par mois, dont la majorité n’est pas du langage naturel mais des menus, des messages d’erreur ou des doublons. Après filtrage de l’extraction d’avril 2019, ils obtiennent environ 750 Go de texte anglais. Les deux papiers montrent le même mécanisme : une archive téléchargée en bloc, filtrée par un tiers, puis utilisée des mois ou des années après la collecte.

Quelle différence entre bloquer CCBot et bloquer les robots des moteurs de réponse ?

CCBot alimente une archive différée ; les robots de recherche des moteurs de réponse alimentent des résultats en direct. La documentation des robots d’OpenAI, consultée le 22 octobre 2026, en donne un exemple : OAI-SearchBot sert à faire apparaître des sites dans les résultats de recherche de ChatGPT, et un site qui l’exclut n’est pas montré dans les réponses de recherche ; GPTBot collecte des contenus pouvant servir à l’entraînement ; chaque réglage est indépendant de l’autre.

Un blocage de CCBot a donc une portée précise : vos pages cessent d’entrer dans les archives futures de Common Crawl, et par ricochet dans les corpus que des tiers en dérivent. Un moteur de réponse qui lit vos pages avec son propre robot continue de les lire ; la documentation d’OpenAI ne mentionne pas Common Crawl.

Pour un éditeur qui souhaite être cité, la décision se formule par robot et par usage. Bloquer CCBot retire vos pages d’une source d’entraînement commune ; cela n’empêche ni ne favorise une citation dans une réponse produite à partir d’une recherche en direct. Autoriser CCBot n’apporte pas davantage de garantie d’être repris dans un corpus, puisque l’archive est un échantillon et que chaque constructeur applique ses propres filtres. Nous recommandons d’écrire la règle de chaque robot séparément, comme détaillé dans « Autoriser ou bloquer GPTBot, ClaudeBot et PerplexityBot ».

Comment vérifier CCBot dans vos journaux et suivre vos citations ?

Recherchez la chaîne CCBot dans les journaux du serveur, puis vérifiez l’adresse IP. La page CCBot signale que des robots se font passer pour CCBot et recommande de vérifier l’authenticité des requêtes. Le robot fonctionne sur des plages d’adresses dédiées avec DNS inverse, sauf en IPv6 : une adresse authentique se résout vers un nom en crawl.commoncrawl.org, lequel se résout vers la même adresse. Les plages, datées du 11 août 2026 dans la FAQ, sont aussi publiées en JSON à l’adresse index.commoncrawl.org/ccbot.json, avec une note recommandant la vérification DNS inverse puis directe pour IPv4.

Une visite de CCBot renseigne seulement sur l’archivage. La page de suivi des citations IA de Citead décrit un relevé hebdomadaire : les questions cibles sont posées à ChatGPT, Perplexity, Gemini et Google AI Overviews, chaque citation du domaine est archivée avec l’extrait et la date, et chaque absence est enregistrée aussi. La page indique que le suivi constate les citations au moment du relevé, que les moteurs varient d’une exécution à l’autre et que le suivi ne prédit pas les citations futures. Avec Google Analytics 4 connecté, Citead isole les visites arrivées depuis les surfaces de réponse des IA. Nous recommandons de lire ces trois sources ensemble : journaux pour l’accès des robots, suivi pour les citations, analytique pour les visites.

Pour aller plus loin

• OAI-SearchBot, GPTBot et ChatGPT-User : que fait chaque robot d’OpenAI ?.
• Google-Extended et Applebot-Extended dans robots.txt.
• Repérer les robots d’IA dans les journaux de votre serveur.
• Robots d’IA, citations et visites : suivre de bout en bout ce que les moteurs de réponse font de votre site.