En bref. Diffbot associe l’exploration des liens à l’extraction structurée et documente les identifiants des robots, les règles robots.txt par défaut et les dérogations définies par les clients.
Définition : Le robot d’exploration (crawler) Diffbot désigne le logiciel Diffbot qui suit les liens des sites web et transmet les pages à des API qui en extraient des données structurées. Son API Crawl associe le parcours des liens à l’extraction pour produire une collection d’enregistrements de pages, téléchargeable ou interrogeable.
Points clés
- En octobre 2026, la documentation de l’API Crawl de Diffbot décrit un service qui transmet les liens des sites web à des API d’extraction automatiques ou personnalisées et rassemble les résultats dans une collection.
- L’API Extract effectue le rendu des pages, les classe, puis renvoie des objets structurés en JSON, un format texte qui associe des noms de champs à des valeurs.
- La FAQ de Diffbot sur son robot d’exploration distingue l’exploration proactive sous l’identifiant
Diffbotdes requêtes effectuées pour un utilisateur humain sous l’identifiantDiffbot-User.
Comment fonctionne l’extraction structurée ?
Une URL de départ (seed URL) est une adresse à partir de laquelle le robot suit les liens. La documentation « Create a Crawl » de Diffbot exige un nom de tâche, des URL de départ et un paramètre apiUrl qui indique l’API d’extraction. Le lancement d’une tâche déclenche immédiatement le parcours des liens et le traitement des pages. Des motifs de correspondance distincts pour l’exploration et le traitement permettent de limiter les liens suivis et les pages soumises à l’extraction.
La documentation d’Extract de Diffbot présente Analyze comme l’API qui classe une page et l’oriente vers l’extracteur adapté. Lorsque le type de page est connu, un client peut appeler directement un extracteur. L’API Article renvoie des champs comme l’auteur, la date et le corps du texte ; l’API Product renvoie des champs comme le prix et la disponibilité. Ces champs nommés constituent le résultat concret de l’extraction structurée du web.
La documentation sur la récupération des résultats indique que JSON est le format de téléchargement par défaut. Un export CSV contient uniquement les champs de premier niveau : le choix du format détermine donc la part de la structure extraite qui est conservée.
Quelles requêtes utilisent le nom Diffbot ?
Un User-Agent est une chaîne de caractères envoyée par un client HTTP pour s’identifier. La FAQ de Diffbot sur robots.txt décrit Diffbot comme l’identifiant d’une exploration proactive destinée à un moteur de recherche généraliste et l’associe au Diffbot Knowledge Graph et aux services de recherche web. La même page décrit Diffbot-User comme l’identifiant des requêtes effectuées lorsqu’une personne saisit une URL dans un logiciel Diffbot.
Pour les clients qui utilisent Extract ou Crawlbot, la FAQ recommande de définir un User-Agent qui représente leur propre organisation. Une tâche d’extraction lancée par un client peut donc s’identifier différemment du robot d’exploration proactif de Diffbot. La FAQ précise également que ce robot proactif ne sert pas à l’entraînement de l’IA.
Quels moyens de contrôle s’appliquent au site ?
Un fichier robots.txt exprime des règles d’exploration. Le Robots Exclusion Protocol le situe à la racine du service, au chemin /robots.txt, et définit des règles Disallow qui s’appliquent aux chemins d’URL correspondants. L’association de cette syntaxe à l’identifiant documenté par Diffbot donne l’exemple suivant, qui demande l’exclusion de tous les chemins pour Diffbot :
User-agent: Diffbot
Disallow: /
La présentation de l’API Crawl de Diffbot indique que Crawl respecte par défaut les directives disallow et crawl-delay. Elle précise que Crawl ignore Allow : une exception Allow au sein d’une exclusion plus large ne convient donc pas pour exprimer les accès permis à Crawl.
La même présentation décrit des dérogations aux règles de robots.txt dans certains cas, généralement dans le cadre d’un partenariat ou d’un accord avec le site web. La référence de création d’une tâche expose ce réglage via obeyRobots, dont la valeur par défaut est 1 ; la valeur 0 ignore les instructions du site. Les propriétaires de sites doivent tenir compte de cette dérogation documentée pour évaluer la portée de ce moyen de contrôle. Le protocole lui-même précise que les règles de robots.txt ne constituent pas une autorisation d’accès.
Termes connexes
Questions fréquentes
Comment examiner les URL parcourues lors d’une exploration ?
Si vous pilotez l’exploration, vous pouvez demander type=urls au point de terminaison des données d’exploration. Il renvoie un rapport d’URL (URL Report) au format CSV avec un diagnostic pour chaque URL explorée, distinct des résultats d’extraction.
Pouvez-vous fournir une liste complète d’URL au lieu de suivre les liens ?
La présentation de l’API Crawl de Diffbot oriente les clients qui disposent d’une liste complète d’URL vers l’API Bulk. Crawl sert aux tâches qui nécessitent de suivre les liens à partir d’URL de départ.
Sources
- Diffbot, « Crawl API », sans date
- Diffbot, « Extract API », sans date
- Diffbot, « Does Diffbot respect robots.txt? », sans date
- Diffbot, « Create a Crawl », sans date
- Diffbot, « Retrieve Crawl Job Data », sans date
- IETF, « Robots Exclusion Protocol », septembre 2022
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO