En bref. L’en-tête User-Agent présente l’identité d’un client, tandis que la vérification d’un robot d’exploration contrôle l’origine de la requête par les méthodes documentées par son exploitant.

Définition : L’usurpation de l’agent utilisateur (user-agent spoofing) consiste à envoyer un en-tête de requête HTTP User-Agent qui présente le client comme un autre logiciel. Cette valeur étant fournie par le client, l’en-tête seul ne permet pas de prouver l’identité d’un robot.

Points clés

Au 17 octobre 2026, la documentation de Google sur la vérification des robots d’exploration décrit comment vérifier les requêtes de clients qui se présentent comme provenant de Google, au moyen de recherches DNS ou de plages d’adresses IP publiées.
La spécification HTTP Semantics de l’IETF traite explicitement des clients qui se font passer pour d’autres agents utilisateurs et des réponses qu’ils reçoivent.
La documentation d’Apache sur les journaux décrit le User-Agent enregistré comme une information que le navigateur client déclare à son propre sujet.

Que désigne réellement cet en-tête ?

Un agent utilisateur est un logiciel client qui émet des requêtes HTTP. Dans la RFC 9110, section 10.1.5, le champ User-Agent contient des identifiants de produits, éventuellement accompagnés de versions et de commentaires. Les serveurs peuvent utiliser ces informations pour adapter leurs réponses aux limites des logiciels ou analyser l’utilisation des navigateurs.

La spécification traite également des logiciels qui présentent l’identité d’un autre client. Elle indique que les destinataires peuvent interpréter ce choix comme une demande de réponses adaptées au logiciel nommé. Un nom de produit dans l’en-tête exprime donc l’identité présentée par l’expéditeur ; des éléments indépendants sont nécessaires pour attribuer une requête à l’exploitant d’un robot d’exploration. Un décompte fondé uniquement sur la présence de ce nom mesure les requêtes qui le portent.

Comment Google vérifie-t-il une requête ?

Le système de noms de domaine (Domain Name System, DNS) établit des correspondances entre noms et adresses IP. La procédure de vérification de Google part de l’adresse IP à l’origine de la requête, relevée dans les journaux du serveur. Une recherche inverse renvoie un nom d’hôte. Après vérification du domaine, une recherche directe doit renvoyer l’adresse IP d’origine.

La documentation fournit cet exemple :

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Pour les vérifications automatisées, Google fournit des listes d’adresses pour ses catégories de robots d’exploration, dont common-crawlers.json pour les robots courants tels que Googlebot. La comparaison porte sur l’adresse à l’origine de la requête.

Que faut-il mesurer dans les journaux d’un site web ?

Le format de journal combiné (Combined Log Format) d’Apache enregistre l’en-tête de requête User-Agent au moyen de %{User-agent}i. Son champ %h enregistre l’hôte distant, généralement sous la forme d’une adresse IP. Lorsque HostnameLookups est activé, Apache enregistre le nom d’hôte résolu à la place.

Ces champs permettent de consigner séparément l’identité déclarée par le client et l’adresse utilisée pour la vérification. Un rapport sur les robots d’exploration peut conserver la correspondance de l’en-tête avec le résultat de la vérification. Ses totaux distinguent ainsi les requêtes portant le nom d’un robot de celles dont l’origine satisfait aux contrôles de l’exploitant. Cette approche découle du rapprochement des définitions des champs d’Apache et de la procédure de vérification de Google.

Termes connexes

Questions fréquentes

Une recherche DNS inverse suffit-elle ?

Suivez la procédure complète de Google : vérifiez le domaine renvoyé et effectuez la recherche directe. Comparez son résultat à l’adresse IP à l’origine de la requête.

Un proxy peut-il modifier l’adresse enregistrée dans un journal ?

Oui. L’explication d’Apache sur les journaux d’accès indique que, lorsqu’un proxy intervient, l’adresse enregistrée peut être celle du proxy. Tenez-en compte pour choisir l’adresse à vérifier.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Usurpation de l’agent utilisateur