En bref. KagiBot suit les directives Googlebot lorsqu’aucune règle ne vise KagiBot et qu’une règle vise Googlebot.

Définition : Au 17 octobre 2026, Kagi indique que KagiBot, le robot d’exploration web de son moteur de recherche, suit les directives Googlebot dans robots.txt lorsqu’aucune règle ne vise KagiBot et qu’une règle vise Googlebot.

Un fichier robots.txt contient des instructions sur les chemins d’un site web auxquels les robots peuvent accéder. Un groupe associe le nom d’un robot, indiqué sur une ligne User-agent, aux règles qui suivent cette ligne.

Points clés

La page de présentation de KagiBot de Kagi décrit le respect des directives propres à KagiBot et le recours aux directives Googlebot en l’absence de règles KagiBot.
Le protocole d’exclusion des robots de l’IETF prévoit le recours au groupe générique, User-agent: *, lorsqu’aucun groupe ne correspond au robot.
Au 17 octobre 2026, la documentation robots.txt de Google précise que ses robots sélectionnent le groupe dont le nom d’agent utilisateur (user-agent) correspond le plus précisément au leur et ignorent les autres groupes.

Que montre l’exemple de Kagi sur ce recours aux règles Googlebot ?

L’exemple publié par Kagi contient un bloc générique et un groupe Googlebot :

User-Agent: *
Disallow: /
User-Agent: Googlebot
Allow: /
Disallow: /private/

Kagi indique qu’avec cette configuration, KagiBot récupère toutes les pages sauf celles situées sous /private/.

Comment définir explicitement les règles d’exploration de KagiBot sur un site ?

Les instructions de Kagi pour son robot fournissent cet exemple propre à KagiBot :

User-Agent: Kagibot
Allow: /
Disallow: /private/

Cet exemple autorise l’exploration en dehors de /private/. Un groupe explicitement destiné à KagiBot permet de gérer ses règles d’exploration séparément de celles de Googlebot.

Selon la section 2.2.2 de la RFC 9309, Allow et Disallow indiquent si l’accès à un chemin correspondant est autorisé. Le chemin correspondant le plus précis détermine la règle applicable. Ici, /private/ est plus précis que /, donc l’exclusion s’applique à ce répertoire.

Que faut-il vérifier dans un fichier robots.txt ?

La section 2.3 de la RFC 9309 place le fichier à la racine du service, au chemin /robots.txt. La section 2.2.1 impose de comparer sans tenir compte de la casse les identifiants de produit des robots, c’est-à-dire les noms servant à sélectionner les groupes, et de combiner les règles des différents groupes correspondants. La vérification doit donc porter sur chaque groupe qui nomme le robot concerné.

Pour Googlebot, l’interprétation de robots.txt par Google précise que l’ordre des groupes est sans importance et que les groupes propres à un robot sont distincts des groupes génériques. Elle limite également la portée d’un fichier à son hôte, son protocole et son port. Ces précisions comptent pour repérer les règles Googlebot auxquelles Kagi se réfère en l’absence de règles KagiBot : un fichier situé sur un hôte ne définit pas les règles d’un autre hôte.

Termes associés

Questions fréquentes

Une interdiction dans le groupe générique suffit-elle à exclure KagiBot ?

L’exemple de Kagi sur le recours aux règles Googlebot montre que KagiBot suit le groupe Googlebot malgré une directive générique Disallow: /. Si votre fichier contient des règles Googlebot et aucune règle KagiBot, examinez aussi ce groupe Googlebot.

D’où vient le recours habituel au groupe générique ?

La section 2.2.1 de la RFC 9309 prévoit l’utilisation du groupe * lorsqu’aucun groupe correspondant n’existe. Kagi décrit le recours supplémentaire aux règles Googlebot sur la page de son robot.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

KagiBot applique-t-il les règles destinées à Googlebot ?