En bref. La fréquence d’exploration des robots compte leurs requêtes sur une période et un périmètre définis, tandis que les citations nécessitent une observation distincte des liens dans les réponses.

Définition : La fréquence d’exploration des robots (bot crawl frequency) est le nombre de requêtes attribuées à un robot d’exploration web pendant une période définie, pour un site ou un ensemble d’URL donné. Elle mesure l’activité de récupération des ressources, y compris les requêtes répétées pour une même ressource.

Points clés

Au 17 octobre 2026, la documentation précise les modalités de mesure suivantes :

La documentation du rapport Crawl Stats de Google, consacré aux statistiques sur l’exploration, compte individuellement les requêtes répétées et inclut les requêtes infructueuses dans ses totaux.
La documentation des journaux d’accès d’Apache HTTP Server définit un horodatage des requêtes et un format de journal combiné (Combined Log Format) qui enregistre l’en-tête de requête User-Agent.
La documentation de vérification des robots de Google décrit des vérifications DNS inverses et directes, ou une comparaison avec les plages d’adresses IP publiées, pour vérifier les requêtes attribuées à Google.

Que compte le rapport Crawl Stats de Google ?

Le rapport Crawl Stats de Google inclut les requêtes portant sur les ressources utilisées par les pages et hébergées dans le périmètre du site sélectionné. Un total comprend donc davantage que les seules récupérations de pages HTML. Chaque requête d’une chaîne de redirections côté serveur est comptée séparément, dans les limites du domaine couvert par le rapport.

Le rapport regroupe les requêtes par réponse, type de fichier, objectif d’exploration et type de Googlebot. La sélection de HTML limite la vue aux réponses HTML ; la sélection de Refresh (actualisation) isole les nouvelles explorations de pages connues. Ces vues permettent de distinguer les récupérations répétées de pages des requêtes portant sur les ressources.

Certains totaux incluent des récupérations potentielles abandonnées parce que robots.txt est indisponible. Ces requêtes n’atteignent jamais le serveur, ce qui explique un écart documenté entre Crawl Stats et les journaux du serveur. Toute comparaison de totaux s’accompagne du périmètre de la propriété et du regroupement sélectionné.

Comment mesurer la fréquence dans les journaux d’accès ?

Un journal d’accès enregistre les requêtes reçues par un serveur web. Le Combined Log Format d’Apache fournit des champs pour l’adresse à l’origine de la requête, l’horodatage, la ligne de requête, le code de statut de la réponse et le User-Agent déclaré :

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"" combined
CustomLog "log/access_log" combined

Dans ce format, %t enregistre l’heure d’arrivée de la requête, avec le fuseau horaire. %r enregistre la ligne de requête et %>s le code de statut de la réponse. La mesure consiste à regrouper les requêtes correspondantes par intervalles de temps fixes et à compter chaque requête dans son intervalle. Le débit moyen correspond au nombre de requêtes divisé par la durée, exprimé dans une unité précisée, par exemple en requêtes par heure.

Le fuseau horaire, le périmètre des URL et la méthode d’identification du robot restent identiques entre les périodes comparées. La mesure de la couverture présente séparément les URL distinctes demandées : les requêtes répétées augmentent la fréquence sans augmenter le nombre d’URL distinctes.

Le champ User-Agent contient l’identité déclarée par le client. La procédure de vérification de Google contrôle l’adresse IP à l’origine de la requête par une résolution DNS inverse, vérifie le domaine renvoyé, puis résout ce nom pour retrouver l’adresse IP d’origine. Cette vérification précède l’attribution des requêtes au trafic vérifié des robots de Google.

Que peut révéler une variation de fréquence ?

Les conseils de dépannage de Crawl Stats de Google indiquent que des réponses lentes et une hausse des erreurs serveur peuvent conduire Googlebot à réduire ses requêtes. Ils mentionnent aussi l’ajout d’une nouvelle section au site ou la suppression de restrictions d’exploration parmi les causes possibles d’une hausse de l’exploration.

La comparaison porte sur le nombre de requêtes, les temps de réponse et les réponses d’erreur au cours du même intervalle. L’interprétation d’une variation de volume repose sur l’identification du type de robot, des ressources et des réponses obtenues.

La fréquence mesure-t-elle les citations dans les réponses des assistants IA ?

Le seul nombre de requêtes ne permet pas d’établir si une réponse contient un lien source vers la page récupérée. La documentation de Google sur les fonctionnalités d’IA précise qu’une page susceptible d’apparaître comme lien complémentaire dans AI Overviews ou AI Mode doit être indexée et admissible à l’affichage d’un extrait dans la recherche Google.

La même documentation inclut le trafic issu de ces fonctionnalités dans le rapport Performances (Performance) de Search Console, sous le type de recherche Web. Le nombre de requêtes d’exploration reste une mesure de récupération des ressources ; la mesure des citations consigne séparément les liens observés dans les réponses.

Termes associés

Questions fréquentes

Où ouvrir le rapport Crawl Stats de Google ?

Dans Search Console, ouvrez les paramètres de la propriété (Property settings), puis les statistiques sur l’exploration (Crawl stats). La documentation du rapport de Google précise que l’accès nécessite une propriété à la racine : soit une propriété de domaine, soit une propriété avec préfixe d’URL à la racine.

Que faire si une URL manque dans les exemples du rapport ?

Google présente les URL données en exemple comme un échantillon représentatif dans sa documentation de Crawl Stats. Une URL absente des exemples peut tout de même avoir fait l’objet d’une requête d’exploration.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Fréquence d’exploration des robots