Répartition des codes de réponse aux robots

L'équipe Citead, mis à jour le

En bref. La répartition des codes de réponse aux robots regroupe les requêtes des robots d’exploration selon leur résultat pour mesurer les récupérations réussies, les redirections et les échecs.

Définition : La répartition des codes de réponse aux robots ventile les requêtes des robots d’exploration selon la réponse ou l’échec enregistré pour chacune. Elle exprime les résultats en nombres de requêtes ou en pourcentages, en distinguant les réponses réussies, les redirections et les erreurs.

Points clés

Que compte cette répartition ?

Le rapport Statistiques sur l’exploration de Google regroupe les réponses en pourcentage des réponses aux requêtes d’exploration. Son exemple porte sur deux requêtes vers la même URL : une réponse 500 suivie d’une réponse 200 donne une répartition égale entre erreur serveur et OK. Chaque requête d’une chaîne de redirections côté serveur est également comptée séparément.

Pour une synthèse calculée à partir des journaux, la formule correspondante est :

part des réponses = requêtes avec cette réponse / requêtes de l’ensemble sélectionné

L’ensemble sélectionné doit préciser le robot, la période du rapport et le périmètre des hôtes retenus. Ce calcul est déduit de la définition de Google fondée sur les requêtes. Afficher les nombres de requêtes à côté des proportions permet de conserver le volume correspondant à chaque pourcentage.

Comment interpréter les réponses réussies et les échecs ?

Les consignes de Google sur les codes d’état HTTP décrivent les codes 2xx comme des succès et les codes 3xx comme des redirections. Une réponse 200 transmet le contenu aux étapes de traitement suivantes. Une page vide ou un message d’erreur peut tout de même produire une erreur soft 404, la catégorie de Google pour un contenu qui ressemble à une erreur alors qu’il est reçu avec un code de succès.

Une réponse 429 signale une surcharge du serveur aux robots d’exploration de Google. Elle se traite avec les réponses 5xx lors de l’analyse d’une baisse de l’exploration, même si son code d’état commence par un chiffre différent. Conserver les codes individuels visibles préserve cette distinction lorsqu’un rapport regroupe aussi les réponses par classe.

La documentation du rapport Statistiques sur l’exploration de Google classe 304, qui signifie que le contenu reste inchangé depuis l’exploration précédente, parmi les bonnes réponses. Elle explique aussi qu’un code 404 peut convenir à une page supprimée définitivement sans remplacement. L’interprétation dépend donc de la ressource demandée et de la réponse attendue.

Comment les journaux serveur peuvent-ils alimenter la synthèse ?

La documentation des journaux d’accès d’Apache décrit des champs pour l’adresse du client, l’heure de la requête et le code d’état de la réponse. Son format de journal combiné (Combined Log Format) ajoute l’en-tête de requête User-Agent, qui contient les informations d’identification déclarées par le client. Voici un format adapté à partir de ces champs documentés :

LogFormat "%h %t %>s \"%{User-agent}i\"" bot_status
CustomLog "logs/access_log" bot_status

Le champ du code d’état permet de regrouper les résultats ; les champs d’adresse et User-Agent permettent de sélectionner les requêtes des robots. Pour le trafic de Google, les consignes de vérification de Google décrivent la comparaison des adresses avec les plages IP publiées ou l’utilisation de résolutions de noms de domaine inverses et directes. La résolution directe doit renvoyer l’adresse d’origine figurant dans le journal.

Termes associés

Questions fréquentes

Pourquoi le rapport Statistiques sur l’exploration peut-il afficher des échecs absents de vos journaux d’accès ?

La documentation du rapport Statistiques sur l’exploration de Google comprend une catégorie pour les requêtes qui n’atteignent jamais le serveur. Elle compte aussi les récupérations potentielles abandonnées parce que robots.txt est indisponible, ce qui peut porter le total des explorations au-delà du nombre de requêtes enregistrées dans les journaux.

Pouvez-vous identifier le trafic des robots à partir du seul code d’état ?

La documentation des journaux d’Apache attribue le résultat de la réponse à %>s et l’identité déclarée par le client au champ User-Agent. Les consignes de vérification de Google ajoutent des contrôles d’adresses pour le trafic qui déclare provenir de Google.

Sources

  1. Google Search Console Help, « Crawl Stats report », consulté le 17 octobre 2026
  2. Apache Software Foundation, « Log Files », consulté le 17 octobre 2026
  3. Google, « How HTTP status codes affect Google's crawlers », consulté le 17 octobre 2026
  4. Google, « Verify requests from Google crawlers and fetchers », consulté le 17 octobre 2026

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Testez une page et voyez quoi corriger en premier

L'analyse prend en général moins de 10 secondes et ne demande pas de compte.

400 000+ pages notées dans le benchmark public