En bref. Un blocage de CCBot dans robots.txt arrête les futures collectes ; les demandes concernant les données déjà archivées suivent une procédure distincte.
Définition : Au 17 octobre 2026, Common Crawl documente un blocage de
CCBotdansrobots.txt, le fichier contenant les règles d’accès des robots, pour exclure un site des futures collectes de son robot d’exploration. Ce contrôle laisse inchangés les enregistrements déjà écrits dans les archives.
Points clés
- La documentation de CCBot de Common Crawl fournit un blocage propre à ce robot avec
User-agent: CCBotetDisallow: /. - Sa FAQ indique que CCBot continue de vérifier périodiquement
robots.txtaprès un blocage. - Sa description du format des archives précise que les enregistrements WARC, pour Web ARChive, sont ajoutés sans réécriture et restent immuables une fois écrits.
Que faut-il mettre dans robots.txt ?
La page consacrée à CCBot de Common Crawl donne cette configuration pour empêcher son robot d’explorer un site web :
User-agent: CCBot
Disallow: /
La ligne User-agent sélectionne CCBot. La barre oblique de Disallow: / couvre les chemins à partir de la racine. Dans cette configuration, le nom du robot est CCBot, sans le suffixe de version présent dans la chaîne d’identification de ses requêtes.
La spécification du protocole d’exclusion des robots, la RFC 9309, place le fichier /robots.txt, dont le nom est en minuscules, à la racine du service et impose un encodage UTF-8 ainsi que le type de média text/plain. Elle impose aussi d’appliquer la règle dont le chemin correspondant est le plus précis. La vérification de la configuration comprend donc l’examen des règles CCBot existantes, afin de repérer les exceptions Allow plus précises qui permettraient un accès malgré le blocage prévu.
Comment vérifier le blocage ?
La FAQ de Common Crawl indique que CCBot vérifie robots.txt avant de récupérer les pages autorisées. La vérification commence par le fichier /robots.txt accessible publiquement : la réponse doit contenir le groupe CCBot prévu. La poursuite des requêtes visant ce fichier est conforme aux vérifications périodiques que Common Crawl documente après une exclusion.
La documentation du robot de Common Crawl avertit que d’autres robots se font passer pour CCBot. Elle fournit des plages d’adresses IP dédiées et un exemple de vérification par résolution DNS inverse. Pour une requête IPv4, cet exemple résout l’adresse en un nom d’hôte sous crawl.commoncrawl.org, puis résout ce nom pour retrouver l’adresse d’origine. La même documentation fournit une liste des plages d’adresses au format JSON et précise que la résolution DNS inverse est indisponible pour ses adresses IPv6.
Que deviennent les données déjà archivées ?
La page de présentation de Common Crawl décrit les enregistrements WARC comme des données brutes d’exploration contenant les réponses HTTP complètes et indique qu’ils sont immuables une fois écrits. Elle précise aussi que le jeu de données est téléchargeable publiquement.
En pratique, modifier le fichier robots.txt du site laisse les enregistrements antérieurs en place dans les archives. Une nouvelle règle destinée aux robots ne transmet pas non plus d’instruction de suppression aux tiers qui détiennent des copies téléchargées. Vérifier la règle actuelle du robot et traiter les copies existantes constituent deux tâches distinctes.
Où adresser les demandes de retrait distinctes ?
L’annonce de l’Opt-Out Registry de Common Crawl, publiée le 17 septembre 2025, décrit une liste publique de demandes d’exclusion fondées sur des motifs juridiques, désormais appelée Opt-Out Ledger. Son objectif déclaré comprend l’information des utilisateurs en aval sur les contenus dont les propriétaires demandent l’exclusion des explorations. Elle invite à envoyer les questions et les demandes à info@commoncrawl.org.
Pour les données personnelles, la politique de confidentialité de Common Crawl demande de fournir les URL complètes des sites web afin de localiser les informations. Elle décrit les efforts raisonnables entrepris pour traiter les demandes et la conservation possible des données pour des raisons juridiques ou des besoins commerciaux légitimes. L’envoi d’une demande relève d’une procédure distincte de la mise en place de la règle CCBot.
Termes associés
Questions fréquentes
Faut-il envoyer un e-mail à Common Crawl avant de bloquer CCBot ?
La documentation de CCBot de Common Crawl fournit directement le blocage à placer dans robots.txt. Son annonce sur l’exclusion propose séparément l’envoi de demandes par e-mail.
Puis-je utiliser Crawl-delay pour exclure mon site ?
La FAQ de Common Crawl documente Crawl-delay comme un moyen de ralentir les requêtes. Pour exclure votre site, utilisez la règle Disallow: / documentée pour CCBot.
Sources
- Common Crawl, « CCBot », sans date
- Common Crawl, « Frequently Asked Questions », sans date
- IETF, « RFC 9309: Robots Exclusion Protocol », septembre 2022
- Common Crawl, « About », sans date
- Common Crawl, « Common Crawl Foundation Opt-Out Registry », 17 septembre 2025
- Common Crawl, « Privacy Policy », mise à jour le 3 avril 2025
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO