En bref. Googlebot explore le Web pour Google Search, et ses requêtes se vérifient par des résolutions DNS inverses et directes ou à l’aide des plages d’adresses IP publiées pour les robots d’exploration.

Définition : Googlebot est le robot d’exploration (crawler) de Google, le logiciel qui récupère automatiquement des pages web pour Google Search. En octobre 2026, Google décrit deux variantes, Googlebot Smartphone et Googlebot Desktop, qui simulent respectivement un utilisateur sur mobile et sur ordinateur.

Points clés

La documentation sur les robots d’exploration courants de Google indique que Googlebot est l’identifiant d’agent utilisateur (user-agent) utilisé dans robots.txt et précise que ces robots respectent les règles de robots.txt lors de l’exploration automatique.
La documentation sur Googlebot de Google indique que, pour la plupart des sites, la majorité des requêtes de Googlebot proviennent du robot mobile, car Google Search indexe principalement leur contenu mobile.
Le guide de vérification des requêtes de Google décrit la vérification manuelle des noms d’hôte et la comparaison automatique avec les plages d’adresses IP (Internet Protocol) publiées.
La documentation sur les fonctionnalités d’IA de Google précise qu’une page doit être indexée et admissible à l’affichage d’un extrait dans Google Search pour pouvoir apparaître comme lien à l’appui d’une réponse dans AI Overviews ou AI Mode.

Comment Googlebot s’identifie-t-il ?

L’en-tête User-Agent est un champ d’une requête HTTP qui identifie le logiciel à l’origine de la requête. La documentation sur Googlebot de Google explique que cet en-tête distingue Smartphone de Desktop. Les deux variantes respectent le même identifiant dans robots.txt : les règles de ce fichier s’appliquent donc aux deux ensemble.

La liste des robots d’exploration courants indique que Googlebot/2.1 figure dans les en-têtes de requête des deux variantes. Leurs chaînes User-Agent complètes contiennent aussi Chrome/W.X.Y.Z, où les lettres représentent une version du navigateur qui évolue. Google recommande d’utiliser des caractères génériques pour la version lors du filtrage des journaux. Un en-tête correspondant ne suffit pas à prouver l’identité du robot, car un autre robot peut le copier.

Comment vérifier une requête reçue par le serveur ?

Le DNS, ou système de noms de domaine (Domain Name System), relie les noms d’hôte aux adresses IP. Une résolution inverse retrouve un nom d’hôte à partir d’une adresse ; une résolution directe retrouve des adresses à partir d’un nom d’hôte. Le guide de vérification de Google exige ces deux opérations pour une vérification manuelle.

La procédure commence par l’adresse IP à l’origine de la requête, consignée dans le journal du serveur. Pour les robots d’exploration courants, le guide fournit des modèles de noms d’hôte sous googlebot.com, dont crawl-***-***-***-***.googlebot.com et geo-crawl-***-***-***-***.geo.googlebot.com. La résolution directe du nom d’hôte obtenu doit renvoyer l’adresse à l’origine de la requête.

Google fournit cet exemple, avec les résultats des résolutions :

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Pour automatiser la vérification d’un grand nombre de requêtes, le même guide renvoie vers common-crawlers.json. Ses plages d’adresses IP utilisent la notation CIDR, un format qui décrit des blocs d’adresses. La vérification consiste à déterminer si l’adresse à l’origine de la requête appartient à ces plages. Le fichier couvre les robots d’exploration courants ; l’en-tête User-Agent reste donc utile pour identifier le robot déclaré au sein de cette catégorie.

Que change l’accès de Googlebot pour un site web ?

Un fichier robots.txt fournit des règles d’exploration ; une instruction noindex contrôle l’indexation, c’est-à-dire l’inclusion d’une page dans un index de recherche. La documentation sur Googlebot de Google distingue ces mécanismes : même si l’exploration est bloquée, l’URL d’une page peut encore apparaître dans les résultats de recherche.

Pour AI Overviews et AI Mode, la documentation sur les fonctionnalités d’IA de Google désigne les directives robots.txt destinées à Googlebot comme le moyen de contrôler l’exploration pour Google Search. Elle présente nosnippet, data-nosnippet, max-snippet et noindex comme des moyens de limiter les informations affichées dans Google Search. Google-Extended concerne l’entraînement et l’ancrage (grounding) dans certains autres systèmes de Google.

Termes associés

Questions fréquentes

Puis-je bloquer uniquement Googlebot Desktop dans robots.txt ?

Les deux variantes utilisent le même identifiant. La documentation sur Googlebot de Google précise que robots.txt ne permet pas de cibler séparément Smartphone ou Desktop.

Une correspondance d’adresse IP est-elle propre à Googlebot ?

Le guide de vérification de Google indique que le fichier publié couvre les robots d’exploration courants, tels que Googlebot. Vous pouvez combiner la vérification de l’adresse IP avec l’en-tête de la requête pour identifier le robot déclaré.

Google-Extended contrôle-t-il l’inclusion dans Google Search ?

La documentation sur les robots d’exploration courants de Google précise que Google-Extended n’a aucun effet sur l’inclusion ou le classement dans Google Search.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO