En bref. La répartition des codes de réponse aux robots regroupe les requêtes des robots d’exploration selon leur résultat pour mesurer les récupérations réussies, les redirections et les échecs.
Définition : La répartition des codes de réponse aux robots ventile les requêtes des robots d’exploration selon la réponse ou l’échec enregistré pour chacune. Elle exprime les résultats en nombres de requêtes ou en pourcentages, en distinguant les réponses réussies, les redirections et les erreurs.
Points clés
- Au 17 octobre 2026, la documentation du rapport Statistiques sur l’exploration (Crawl Stats) de Google décrit des pourcentages de réponses calculés à partir des requêtes ; les requêtes répétées vers une même URL sont comptées séparément.
- La documentation sur les fichiers journaux d’Apache désigne
%>scomme le champ du code d’état de la réponse enregistré dans le journal d’accès. - La documentation de Google sur les codes d’état HTTP indique que les réponses
5xxet429ralentissent temporairement ses robots d’exploration. - Les consignes de Google pour vérifier les requêtes décrivent des contrôles d’adresses permettant d’établir si le trafic des robots provient de Google.
Que compte cette répartition ?
Le rapport Statistiques sur l’exploration de Google regroupe les réponses en pourcentage des réponses aux requêtes d’exploration. Son exemple porte sur deux requêtes vers la même URL : une réponse 500 suivie d’une réponse 200 donne une répartition égale entre erreur serveur et OK. Chaque requête d’une chaîne de redirections côté serveur est également comptée séparément.
Pour une synthèse calculée à partir des journaux, la formule correspondante est :
part des réponses = requêtes avec cette réponse / requêtes de l’ensemble sélectionné
L’ensemble sélectionné doit préciser le robot, la période du rapport et le périmètre des hôtes retenus. Ce calcul est déduit de la définition de Google fondée sur les requêtes. Afficher les nombres de requêtes à côté des proportions permet de conserver le volume correspondant à chaque pourcentage.
Comment interpréter les réponses réussies et les échecs ?
Les consignes de Google sur les codes d’état HTTP décrivent les codes 2xx comme des succès et les codes 3xx comme des redirections. Une réponse 200 transmet le contenu aux étapes de traitement suivantes. Une page vide ou un message d’erreur peut tout de même produire une erreur soft 404, la catégorie de Google pour un contenu qui ressemble à une erreur alors qu’il est reçu avec un code de succès.
Une réponse 429 signale une surcharge du serveur aux robots d’exploration de Google. Elle se traite avec les réponses 5xx lors de l’analyse d’une baisse de l’exploration, même si son code d’état commence par un chiffre différent. Conserver les codes individuels visibles préserve cette distinction lorsqu’un rapport regroupe aussi les réponses par classe.
La documentation du rapport Statistiques sur l’exploration de Google classe 304, qui signifie que le contenu reste inchangé depuis l’exploration précédente, parmi les bonnes réponses. Elle explique aussi qu’un code 404 peut convenir à une page supprimée définitivement sans remplacement. L’interprétation dépend donc de la ressource demandée et de la réponse attendue.
Comment les journaux serveur peuvent-ils alimenter la synthèse ?
La documentation des journaux d’accès d’Apache décrit des champs pour l’adresse du client, l’heure de la requête et le code d’état de la réponse. Son format de journal combiné (Combined Log Format) ajoute l’en-tête de requête User-Agent, qui contient les informations d’identification déclarées par le client. Voici un format adapté à partir de ces champs documentés :
LogFormat "%h %t %>s \"%{User-agent}i\"" bot_status
CustomLog "logs/access_log" bot_status
Le champ du code d’état permet de regrouper les résultats ; les champs d’adresse et User-Agent permettent de sélectionner les requêtes des robots. Pour le trafic de Google, les consignes de vérification de Google décrivent la comparaison des adresses avec les plages IP publiées ou l’utilisation de résolutions de noms de domaine inverses et directes. La résolution directe doit renvoyer l’adresse d’origine figurant dans le journal.
Termes associés
Questions fréquentes
Pourquoi le rapport Statistiques sur l’exploration peut-il afficher des échecs absents de vos journaux d’accès ?
La documentation du rapport Statistiques sur l’exploration de Google comprend une catégorie pour les requêtes qui n’atteignent jamais le serveur. Elle compte aussi les récupérations potentielles abandonnées parce que robots.txt est indisponible, ce qui peut porter le total des explorations au-delà du nombre de requêtes enregistrées dans les journaux.
Pouvez-vous identifier le trafic des robots à partir du seul code d’état ?
La documentation des journaux d’Apache attribue le résultat de la réponse à %>s et l’identité déclarée par le client au champ User-Agent. Les consignes de vérification de Google ajoutent des contrôles d’adresses pour le trafic qui déclare provenir de Google.
Sources
- Google Search Console Help, « Crawl Stats report », consulté le 17 octobre 2026
- Apache Software Foundation, « Log Files », consulté le 17 octobre 2026
- Google, « How HTTP status codes affect Google's crawlers », consulté le 17 octobre 2026
- Google, « Verify requests from Google crawlers and fetchers », consulté le 17 octobre 2026
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO