En bref. Additionner les octets transférés enregistrés pour les requêtes de robots vérifiés sur une période définie, en séparant les mesures du serveur d’origine et du CDN.

Définition : Un rapport sur la bande passante consommée par les robots d’exploration IA (crawlers) additionne les octets transférés pour les requêtes attribuées à des robots IA vérifiés pendant une période définie. Il précise le point de mesure et le champ d’octets utilisé pour que le total ait une signification claire.

Points clés

Au 17 octobre 2026, la documentation des journaux d’accès d’Apache décrit CustomLog pour choisir la destination du journal et LogFormat pour choisir les champs enregistrés.
La référence des formats de journal d’Apache distingue la taille de la réponse (%B) des octets effectivement envoyés sur le réseau (%O).
La documentation de mod_logio d’Apache définit %I comme les octets reçus et %O comme les octets envoyés, en-têtes compris.
À la même date, la documentation des robots d’OpenAI répertorie des flux d’adresses publiés distincts pour OAI-SearchBot et GPTBot.

Quels champs faut-il enregistrer dans le journal ?

Un journal d’accès enregistre les requêtes traitées par un serveur. La référence des formats de journal d’Apache décrit les champs utilisés dans cette configuration adaptée. Celle-ci nécessite l’activation de mod_logio :

LogFormat "%v %a %{c}a %t \"%r\" %>s %B %I %O \"%{User-Agent}i\"" crawler_bytes
CustomLog "logs/crawler_bytes.log" crawler_bytes

Les colonnes enregistrent le nom d’hôte qui sert la réponse, l’adresse du client, l’adresse du pair de connexion, l’horodatage de la requête avec le fuseau horaire, la ligne de requête, le code d’état HTTP final, la taille du corps de la réponse, les octets reçus, les octets envoyés et le User-Agent déclaré. Le User-Agent est un en-tête de requête contenant l’identification déclarée par le client.

La documentation de mod_logio d’Apache comptabilise les octets entrants avant déchiffrement et les octets sortants après chiffrement. Pour le transfert sortant, le champ à retenir est %O ; pour le transfert cumulé entrant et sortant, il faut additionner %I et %O. Le champ %B est conservé séparément pour analyser la taille des réponses. Les journaux existants utilisant %b inscrivent un tiret lorsqu’aucun octet de corps de réponse n’est enregistré, tandis que %B inscrit zéro.

Comment vérifier les requêtes des robots ?

Le User-Agent déclaré sert à sélectionner les requêtes candidates. Pour les requêtes candidates d’OpenAI, la documentation des robots associe OAI-SearchBot à https://openai.com/searchbot.json et GPTBot à https://openai.com/gptbot.json. L’adresse du client enregistrée dans le journal est comparée aux plages d’adresses du flux correspondant. Le flux et sa date de récupération sont conservés avec le rapport afin de permettre une vérification ultérieure de la classification.

Des libellés distincts identifient les requêtes dont l’adresse correspond aux plages publiées par l’opérateur et celles identifiées uniquement par leur User-Agent. La méthode de vérification documentée par chaque opérateur est appliquée avant d’intégrer ses requêtes au total des robots vérifiés.

Lorsque le serveur se trouve derrière un proxy, la documentation de mod_remoteip d’Apache explique comment RemoteIPHeader remplace l’adresse du client enregistrée dans le journal. Il faut configurer RemoteIPTrustedProxy ou RemoteIPInternalProxy pour les intermédiaires réellement utilisés : sans cela, Apache fait confiance à tous les hôtes présentant cet en-tête. %a enregistre l’adresse du client ainsi obtenue ; %{c}a conserve l’adresse du pair de connexion.

Comment agréger les octets ?

Pour l’intervalle et le fuseau horaire choisis, chaque ligne de journal sélectionnée est analysée une seule fois et reçoit son libellé de vérification. Les fichiers issus de la rotation des journaux qui couvrent cet intervalle sont inclus, en évitant les exports en double et les copies de journaux qui se chevauchent. Le guide des journaux d’accès d’Apache décrit la rotation ainsi que les configurations qui écrivent une même requête dans plusieurs journaux.

Les requêtes vérifiées sont regroupées par robot et par nom d’hôte servant les réponses. Pour chaque groupe, le rapport présente le nombre de requêtes et la somme de %O ; la somme de %I est ajoutée lorsque le transfert entrant est pertinent. Une ventilation des totaux par code d’état final et par chemin demandé permet de repérer les requêtes répétées ou les réponses volumineuses. Les redirections et les réponses d’erreur restent incluses dans le total des transferts.

Le choix de la métrique suit les définitions de mod_logio d’Apache : %S correspond au nombre cumulé d’octets reçus et envoyés. Le rapport précise s’il utilise les octets sortants ou le transfert cumulé, et conserve les totaux bruts en octets à côté des valeurs éventuellement converties dans d’autres unités d’affichage.

Où effectuer la mesure lorsqu’un site utilise un réseau de diffusion de contenu ?

Un réseau de diffusion de contenu (CDN) introduit un autre point de mesure. En octobre 2026, le jeu de données HTTP Requests de Cloudflare définit EdgeResponseBytes comme les octets renvoyés au client depuis ses serveurs périphériques et CacheCacheStatus comme l’état du cache. Pour un rapport sur les données transmises aux robots, le champ mesuré en périphérie est agrégé après vérification de l’identité du robot à l’aide de ClientIP et du User-Agent déclaré.

Les totaux du serveur d’origine et des serveurs périphériques sont conservés sous des libellés distincts. Cette séparation distingue le transfert mesuré par Apache de celui mesuré par le CDN et évite d’additionner différents segments du trajet d’une requête dans un même total sortant.

Termes associés

Questions fréquentes

Puis-je utiliser un journal d’accès existant au format combiné ?

Oui, pour analyser la taille des réponses : le format combiné d’Apache inclut %b et le User-Agent. Vous avez besoin d’un journal contenant %O pour additionner les octets effectivement envoyés selon la métrique réseau d’Apache.

Faut-il inclure le trafic des requêtes en plus des réponses ?

Incluez-le lorsque votre rapport couvre les deux sens de transfert. La référence de mod_logio d’Apache définit %S comme la somme de %I et %O ; indiquez que ce total représente le transfert cumulé.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment mesurer la bande passante consommée par les robots d’exploration IA ?