En bref. CCBot est le robot d’exploration web de Common Crawl, avec des réglages documentés dans robots.txt et des plages d’adresses publiées pour vérifier les requêtes.

Définition : CCBot est le robot d’exploration web de Common Crawl, un organisme à but non lucratif qui met gratuitement à disposition des archives d’exploration du Web pour la recherche et l’analyse. Ses données alimentent des jeux de données utilisés pour entraîner de grands modèles de langage (large language models, LLM), des modèles entraînés sur des textes pour traiter et produire du langage.

Points clés

Au 17 octobre 2026, la documentation de CCBot de Common Crawl identifie le robot par la chaîne user-agent CCBot/2.0 (https://commoncrawl.org/faq/).
La FAQ de Common Crawl indique que CCBot consulte robots.txt avant de récupérer les pages autorisées par des requêtes HTTP GET.
La même FAQ précise que CCBot n’exécute pas JavaScript et n’utilise pas de cookies.
La page consacrée à CCBot de Common Crawl signale que d’autres robots se font passer pour CCBot et fournit des méthodes de vérification des requêtes.

Que deviennent les pages collectées par CCBot ?

La page de présentation de Common Crawl décrit un dépôt ouvert dont les données servent, après filtrage et traitement par des tiers, à entraîner de grands modèles de langage. Pour un site web, autoriser CCBot permet la collecte de pages pour ce dépôt public et leurs utilisations ultérieures.

La présentation du corpus distingue les données brutes des pages web, les extraits de métadonnées et les extraits de texte. L’accès au corpus hébergé par Amazon est gratuit, et les utilisateurs peuvent le télécharger en totalité ou en partie. Cette même présentation renvoie vers le Common Crawl URL Index pour rechercher des pages archivées.

La FAQ décrit le jeu de données comme un échantillon du Web, qui contient généralement un sous-ensemble des pages d’un site sélectionné aléatoirement. La visite d’un robot concerne donc la collecte de certaines pages au sein de cet échantillon.

Comment un site web contrôle-t-il CCBot ?

Un fichier robots.txt fournit des consignes d’exploration. Les instructions de blocage de Common Crawl donnent exactement ce groupe de règles pour empêcher CCBot d’explorer un site web :

User-agent: CCBot
Disallow: /

La FAQ indique que CCBot vérifie périodiquement les mises à jour du fichier, même lorsque l’exploration est bloquée. Elle documente aussi Crawl-delay, un paramètre qui demande une pause entre deux récupérations de pages. Son exemple limite les requêtes à une toutes les deux secondes au maximum :

User-agent: CCBot
Crawl-delay: 2

Ces configurations permettent, au choix, de bloquer l’exploration ou de la ralentir. La FAQ indique aussi que CCBot utilise les sitemaps déclarés dans robots.txt. Un sitemap est un fichier qui répertorie les URL d’un site à l’intention des robots d’exploration.

Pour les demandes qui dépassent la configuration du robot, l’annonce de l’Opt-Out Registry de Common Crawl décrit l’Opt-Out Ledger, le nom actuel de sa liste publique de demandes légales d’exclusion (opt-out). L’objectif annoncé comprend l’information des utilisateurs en aval sur les contenus que leurs propriétaires demandent d’exclure des collectes.

Comment un site web peut-il vérifier une requête de CCBot ?

Le user-agent est la chaîne d’identification envoyée avec une requête. Les consignes de vérification de Common Crawl montrent une adresse IPv4 dont la résolution DNS inverse donne un nom d’hôte sous crawl.commoncrawl.org, puis une résolution directe qui renvoie l’adresse d’origine. Le DNS est le système qui associe les noms de domaine aux adresses réseau ; cette vérification compare les deux sens de cette correspondance.

Common Crawl publie également ses plages d’adresses dans un flux JSON. Sa documentation de CCBot indique que la résolution DNS inverse est indisponible pour ses adresses IPv6 ; les plages publiées constituent donc la méthode de vérification applicable à ces requêtes.

Termes associés

Questions fréquentes

Puis-je ralentir CCBot sans le bloquer ?

Oui. La FAQ de Common Crawl documente le paramètre Crawl-delay et donne un intervalle de deux secondes en exemple.

Comment rechercher des pages déjà collectées ?

Vous pouvez effectuer une recherche dans le Common Crawl URL Index, accessible depuis la présentation du corpus. Celle-ci décrit cet index comme un moyen de rechercher des pages dans le corpus.

Où envoyer une demande d’exclusion ?

L’annonce relative aux exclusions de Common Crawl donne l’adresse info@commoncrawl.org pour les questions sur les procédures d’exclusion et l’envoi de demandes.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

CCBot (Common Crawl)