En bref. Google-CloudVertexBot assure l’exploration pour Vertex AI à la demande des propriétaires de sites et respecte les règles robots.txt lors des explorations automatiques.

Définition : Google-CloudVertexBot est le robot d’exploration (crawler) de Google qui explore les sites web à la demande de leurs propriétaires pour créer des agents avec Vertex AI Agents. Au 17 octobre 2026, Google le classe parmi ses robots d’exploration courants, qui respectent les règles robots.txt lors de l’exploration automatique.

Points clés

La documentation de Google sur les robots d’exploration courants présente Google-CloudVertexBot comme une sous-chaîne du user-agent HTTP et comme un identifiant dans robots.txt ; elle indique aussi que l’identifiant Googlebot s’applique.
Le guide de préparation des données de Google Cloud exige que Google-CloudVertexBot puisse accéder au contenu du site pour l’explorer et l’indexer, y compris au contenu soumis à un accès payant.
La spécification robots.txt de Google applique le groupe dont le user-agent correspond le plus précisément au robot et traite les groupes spécifiques séparément du groupe global *.
Le guide de vérification des requêtes de Google décrit la vérification de l’adresse IP source d’une requête à partir des plages d’adresses publiées ou de résolutions DNS inverse et directe.

Que demande le propriétaire du site ?

Les instructions de Google Cloud sur les données de sites web décrivent la création d’un magasin de données (data store) à partir d’URL de pages web que Google doit explorer et indexer pour la recherche ou les recommandations. Un magasin de données contient les données du site utilisées par l’application. Sa configuration comprend des motifs d’URL à inclure et à exclure.

Le guide impose une vérification du domaine pour l’indexation avancée des sites web. Il demande aussi aux propriétaires d’exclure les URL de recherche dynamiques, en donnant example.com/search?* comme exemple : l’indexation de chaque URL de recherche unique augmente les coûts de stockage de l’index et dégrade la qualité de la recherche.

La liste des robots d’exploration courants de Google attribue à Google-CloudVertexBot ces explorations pour Vertex AI demandées par les propriétaires. Elle précise que les préférences d’exploration adressées à ce user-agent n’ont aucun effet sur Google Search ni sur les autres produits.

Comment robots.txt contrôle-t-il l’accès ?

Un fichier robots.txt donne aux robots d’exploration des règles d’accès aux chemins d’un site web. Le guide de préparation de Google Cloud fournit ce groupe pour autoriser l’accès à Google-CloudVertexBot :

user-agent: Google-CloudVertexBot
allow: /

La spécification robots.txt de Google exige que le fichier se trouve à la racine du site. Le champ user-agent sélectionne le robot, et allow: / autorise l’exploration à partir de la racine du site web. Une règle disallow précise les chemins que le robot sélectionné doit éviter. Lorsqu’un groupe spécifique s’applique, les règles du groupe global * ne sont pas combinées avec les siennes.

L’accès aux sitemaps nécessite une vérification distincte. Le même guide Cloud indique qu’Agent Search explore les pages du site avec Google-CloudVertexBot, mais récupère le fichier sitemap avec Googlebot. Si robots.txt, un réseau de diffusion de contenu (CDN) ou un pare-feu bloque Googlebot, les URL du sitemap ne peuvent pas être indexées ou actualisées par l’intermédiaire de ce sitemap, même si l’exploration des pages reste possible.

Comment un site web peut-il vérifier les requêtes des robots d’exploration ?

Une chaîne user-agent HTTP identifie le client à l’origine d’une requête. La liste des robots d’exploration courants de Google indique que la sous-chaîne à rechercher est Google-CloudVertexBot et avertit que les chaînes user-agent peuvent être usurpées.

Les instructions de vérification de Google utilisent l’adresse IP source enregistrée dans les journaux du serveur. Pour une vérification manuelle, une résolution DNS inverse retrouve le nom d’hôte ; une résolution directe doit ensuite résoudre ce nom d’hôte en l’adresse IP d’origine. Pour les robots d’exploration courants, les motifs de noms d’hôte documentés se terminent par googlebot.com ou geo.googlebot.com. Les vérifications automatisées peuvent comparer les adresses sources aux plages publiées par Google dans common-crawlers.json.

Termes associés

Questions fréquentes

Le blocage de Google-CloudVertexBot affecte-t-il Google Search ?

La documentation de Google sur les robots d’exploration précise que les préférences adressées à Google-CloudVertexBot n’ont aucun effet sur Google Search ni sur les autres produits. Son périmètre documenté est l’exploration demandée par les propriétaires de sites pour Vertex AI Agents.

Pourquoi mon sitemap doit-il être accessible à Googlebot ?

Le guide de préparation de Google Cloud attribue la récupération des sitemaps à Googlebot. Si vous utilisez un sitemap pour indexer ou actualiser les pages de votre site, autorisez Googlebot à récupérer ce fichier et Google-CloudVertexBot à explorer les pages.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO