En bref. L’analyse des journaux serveur s’appuie sur les requêtes enregistrées, les identités vérifiées des clients et les codes d’état HTTP pour examiner les accès des robots et les réponses correspondantes.

Définition : L’analyse des journaux serveur (server log analysis) consiste à examiner les requêtes web enregistrées et les réponses correspondantes. Pour le suivi des robots d’exploration (crawlers), elle relie l’identité du client à l’origine de la requête à l’URL demandée, à l’heure de la requête et au code d’état HTTP renvoyé par le serveur.

Points clés

La documentation sur les fichiers journaux d’Apache décrit un journal d’accès qui enregistre les requêtes traitées par le serveur ; CustomLog détermine son emplacement et son contenu.
La documentation de référence de mod_log_config d’Apache indique que %>s enregistre le code d’état de la réponse finale après les redirections internes.
Le guide de vérification des requêtes de Google présente la comparaison avec des plages d’adresses IP et les vérifications DNS inverses puis directes pour identifier les requêtes provenant de Google.
La documentation de Google sur les codes d’état HTTP interprète 304 comme un contenu inchangé et 429 comme un signal de surcharge du serveur.

Que doit contenir un journal d’accès destiné au suivi des robots ?

Au 17 octobre 2026, Apache documente une journalisation configurable des requêtes, tandis que Google documente les procédures de vérification et le traitement des réponses décrits ci-dessous. Un agent utilisateur (user-agent) désigne les informations d’identification qu’un client déclare dans l’en-tête User-Agent de sa requête. Le guide sur les fichiers journaux d’Apache inclut cet en-tête dans son format Combined Log Format, aux côtés des champs de requête et de réponse.

Une configuration destinée au suivi des robots, composée à partir des champs de la documentation de référence de mod_log_config d’Apache, prend la forme suivante :

LogFormat "%a %t %m %U%q %>s %b %{User-agent}i" crawler
CustomLog "logs/crawler_access_log" crawler

Ici, %a enregistre l’adresse IP du client, %t l’heure de la requête, %m la méthode et %U%q le chemin suivi de la chaîne de paramètres. %>s enregistre le code d’état final, %b la taille de la réponse hors en-têtes et %{User-agent}i l’agent utilisateur déclaré. La même documentation fournit %D pour la durée de la requête en microsecondes et %L pour rapprocher une entrée du journal d’accès d’une entrée du journal des erreurs.

Comment identifier une requête de robot ?

L’agent utilisateur fournit une première indication pour filtrer les requêtes. La vérification consiste ensuite à contrôler si l’adresse IP à l’origine de la requête appartient à l’opérateur déclaré. Le guide de vérification de Google traite explicitement des requêtes qui prétendent à tort provenir de Google.

Le DNS, système de noms de domaine (Domain Name System), permet d’effectuer des recherches entre adresses IP et noms d’hôte. La procédure manuelle de Google commence par une recherche inverse de l’adresse IP enregistrée dans le journal. Le domaine renvoyé doit correspondre à un domaine Google approuvé ; une recherche directe de ce nom d’hôte doit ensuite renvoyer l’adresse IP d’origine. Pour les vérifications automatisées, Google publie des listes d’adresses distinctes, dont common-crawlers.json pour les robots courants tels que Googlebot.

Le champ d’adresse nécessite lui aussi un examen. Le guide sur les fichiers journaux d’Apache explique que la présence d’un serveur mandataire (proxy) intermédiaire peut conduire à enregistrer l’adresse de ce dernier. Vérifier l’adresse d’un proxy reviendrait à identifier l’intermédiaire plutôt que le client à l’origine de la requête.

Comment interpréter les réponses ?

Un rapport d’analyse regroupe les requêtes vérifiées par URL, période et code d’état final. La documentation de Google sur les codes d’état HTTP fournit des interprétations concrètes : 200 transmet le contenu reçu à l’étape de traitement suivante, 404 indique un contenu introuvable et les réponses 5xx ou 429 entraînent un ralentissement temporaire de l’exploration. Un code 304 indique que le contenu est inchangé depuis l’exploration précédente.

Pour le diagnostic, la documentation de référence de mod_log_config d’Apache définit aussi %X : la valeur X enregistre une connexion interrompue avant la fin de la réponse. Ce champ ajoute des informations sur la connexion au code d’état de la réponse.

Termes associés

Questions fréquentes

Puis-je identifier Googlebot à partir de son seul agent utilisateur ?

Le guide de vérification de Google traite de l’usurpation d’identité. Vous pouvez comparer l’adresse IP enregistrée aux plages publiées appropriées ou effectuer les deux recherches DNS.

Une requête réussie prouve-t-elle l’inclusion dans une réponse d’IA ?

Une réponse HTTP réussie ne suffit pas à établir l’inclusion dans une réponse d’IA. La documentation de Google sur les codes d’état situe la réponse 200 avant l’étape de traitement suivante, qui correspond, pour Google Search, à la chaîne de traitement de l’indexation.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Analyse des journaux serveur