En bref. La consommation de bande passante des robots mesure les octets transférés par les requêtes automatisées, avec des coûts dépendant du point d’observation et du modèle de facturation.

Définition : La consommation de bande passante des robots (bots) est le volume de données transférées par les requêtes HTTP automatisées et leurs réponses sur une période donnée. Une mesure précise le groupe de robots, le point d’observation et si le décompte des octets inclut les en-têtes ou le surcoût du chiffrement.

Points clés

Les définitions des champs et les exemples de facturation ci-dessous reflètent la documentation d’Apache et d’AWS au 17 octobre 2026.

La documentation du format des journaux d’Apache définit %B et %b comme la taille des réponses, hors en-têtes HTTP.
La documentation de mod_logio d’Apache définit %I comme les octets reçus et %O comme les octets envoyés, en-têtes compris, avec prise en compte du chiffrement.
La référence des journaux CloudFront d’AWS définit sc-bytes comme les octets envoyés au client, en-têtes compris.
La tarification à l’usage d’AWS facture séparément le transfert de données sortantes et les requêtes HTTP ou HTTPS.

Quels champs Apache mesurent les octets transférés ?

La documentation de mod_log_config d’Apache distingue la taille des réponses du transfert réel : les connexions interrompues et SSL peuvent entraîner des écarts entre ces valeurs. %b consigne un trait d’union lorsqu’aucun octet n’est envoyé ; %B consigne une valeur numérique. Les rapports utilisant %b doivent traiter ce trait d’union avant d’additionner les tailles.

Pour comptabiliser les transferts réseau, le module mod_logio d’Apache fournit %I, %O et %S. %S additionne les octets entrants et sortants. Le comptage s’effectue avant le traitement SSL/TLS en entrée et après ce traitement en sortie. Sur une connexion SSL persistante (KeepAlive), le surcoût de la négociation est comptabilisé dans les octets de la première requête.

Comment établir un rapport sur l’utilisation du site par les robots ?

Un journal d’accès personnalisé peut conserver les champs d’identification avec la taille des réponses, les octets transférés et le temps écoulé. Cette configuration associe des champs définis dans la documentation du format des journaux d’Apache ; %I et %O nécessitent l’activation de mod_logio :

LogFormat "%a %t \"%r\" %>s %B %I %O %D \"%{User-agent}i\"" bot_usage
CustomLog "logs/bot_usage.log" bot_usage

Ici, %a consigne l’adresse du client, %t la date et l’heure de la requête, %r la ligne de requête et %>s le statut final. %D mesure le temps de traitement en microsecondes. Le rapport peut regrouper les enregistrements correspondants par robot et période, compter les requêtes et additionner séparément les octets entrants et sortants. Conserver le statut de la réponse permet d’isoler les réponses d’erreur.

L’attribution des requêtes à un robot nécessite une vérification. La documentation de Google sur la vérification des robots, mise à jour le 20 mars 2026, décrit la comparaison des adresses avec les plages IP publiées ou une résolution DNS inverse suivie d’une résolution DNS directe. Un rapport doit indiquer qu’un groupe sélectionné uniquement d’après son en-tête User-Agent correspond à une identité déclarée.

Où mesurer le trafic d’un site utilisant un CDN ?

Un réseau de diffusion de contenu (CDN) traite les requêtes via des serveurs périphériques ; l’origine est le serveur du site situé derrière ce réseau. La référence des journaux CloudFront d’AWS distingue Hit, lorsque le serveur périphérique sert le contenu en cache, de Miss, lorsqu’il transmet la requête au serveur d’origine.

Le journal d’accès du serveur d’origine omet donc les requêtes servies entièrement depuis le cache périphérique. Un rapport établi en périphérie peut additionner sc-bytes pour les données sortantes et cs-bytes pour les données entrantes. Le transfert à l’origine et la diffusion en périphérie restent des totaux distincts, car ils décrivent des segments réseau différents. Les additionner nécessite un rapport mesurant explicitement le trafic sur ces deux segments.

Comment convertir l’utilisation en estimation de coût ?

La tarification à l’usage de CloudFront d’AWS indique les prix du transfert sortant par GB et ceux des requêtes par tranche de 10 000 requêtes. Les tarifs dépendent du type d’utilisation, de la région et des fonctionnalités activées. Une estimation du coût des robots applique donc le tarif de transfert pertinent au volume facturable qui leur est attribuable et le tarif des requêtes pertinent aux requêtes facturables qui leur sont attribuables, en tenant compte des volumes inclus et des paliers tarifaires.

La formule de facturation compte : la page des tarifs forfaitaires d’AWS décrit des forfaits mensuels sans frais de dépassement. Avec ce modèle, un total d’octets reste une mesure d’utilisation ; attribuer une partie du forfait mensuel aux robots relève d’un choix de répartition des coûts.

Termes associés

Questions fréquentes

Puis-je utiliser un journal d’accès existant au format combiné ?

L’exemple de journal au format combiné d’Apache contient %b : vous pouvez donc additionner les tailles des réponses après avoir traité les traits d’union. Pour mesurer le transfert sortant réel, ajoutez %O en activant mod_logio.

Une réponse servie depuis le cache consomme-t-elle de la bande passante ?

Oui. La référence des journaux d’AWS définit Hit comme une diffusion depuis le cache vers le client, et sc-bytes mesure les octets envoyés dans cette réponse.

Le temps de traitement d’une requête correspond-il à une facturation du calcul ?

La même documentation des champs Apache définit %D comme le temps nécessaire pour traiter la requête, en microsecondes. Convertir cette durée en coût de calcul nécessite le modèle de facturation de votre hébergeur.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Consommation de bande passante des robots