En bref. KagiBot respecte les règles robots.txt ciblant Kagibot et suit les directives Googlebot en l’absence de règles KagiBot.

Définition : KagiBot est le robot d’exploration web (crawler) du moteur de recherche Kagi. Au 17 octobre 2026, Kagi documente un identifiant de requête Kagibot, des adresses IP sources et un traitement de robots.txt qui prévoit l’application des directives Googlebot en l’absence de règles KagiBot.

Points clés

La documentation du robot de Kagi publie un identifiant Kagibot/1.0 et quatre adresses IP sources. Elle précise que KagiBot respecte les règles qui ciblent Kagibot et applique les directives Googlebot en l’absence de règles KagiBot.
La spécification HTTP Semantics de l’IETF définit User-Agent comme un en-tête de requête contenant des informations sur le logiciel à l’origine de la requête.
Le protocole d’exclusion des robots de l’IETF place les règles d’exploration dans /robots.txt, à la racine du service.

Comment identifier les requêtes de KagiBot ?

L’en-tête User-Agent est le champ de requête dans lequel un robot fournit sa chaîne d’identification. La page About KagiBot de Kagi publie cette valeur :

Mozilla/5.0 (compatible; Kagibot/1.0; +https://kagi.com/bot)

La même page répertorie les paires d’adresses IP et de noms d’hôte suivantes :

216.18.205.234 amd.kagibot.org
35.212.27.76 donna.kagibot.org
104.254.65.50 knet.kagibot.org
209.151.156.194 ogi.kagibot.org

Lors de l’examen des requêtes identifiées par Kagibot sur un site web, ces valeurs publiées servent de référence pour comparer l’en-tête de requête et l’adresse source enregistrés. Kagi indique également l’adresse vlad@kagi.com pour toute question ou tout soupçon de comportement anormal du robot.

Comment robots.txt contrôle-t-il KagiBot ?

Un fichier robots.txt regroupe les règles d’exploration sous une ligne User-agent. La spécification du protocole de l’IETF définit un groupe comme des lignes user-agent suivies de règles et impose une correspondance des noms de robots sans distinction entre majuscules et minuscules.

La documentation du robot de Kagi donne cet exemple, qui autorise l’exploration sauf pour les chemins situés sous /private/ :

User-Agent: Kagibot
Allow: /
Disallow: /private/

Ce groupe nommé rend explicites les instructions du site destinées à KagiBot. Dans cet exemple, Allow: / couvre le site dans son ensemble, tandis que Disallow: /private/ définit la restriction de chemin.

Le protocole impose l’encodage UTF-8 et le type de média text/plain pour ce fichier. Il précise aussi que les règles destinées aux robots ne constituent pas une autorisation d’accès. Un répertoire nommé /private/ dans une règle robots nécessite donc toujours des contrôles d’accès si son contenu doit être protégé.

Que se passe-t-il quand seul Googlebot dispose d’une règle ?

Le mécanisme de repli documenté par Kagi s’applique lorsqu’un fichier robots.txt contient des directives Googlebot et aucune règle KagiBot. Voici l’exemple fourni :

User-Agent: *
Disallow: /
User-Agent: Googlebot
Allow: /
Disallow: /private/

Kagi indique explicitement qu’avec ce fichier, son robot récupère les pages situées hors de /private/. La restriction appliquée à l’ensemble du site par le groupe générique n’empêche pas ce comportement documenté, car KagiBot suit les directives Googlebot dans cette situation.

Lors de l’audit d’un site web, le groupe Googlebot entre donc en compte dans l’accès de KagiBot dès lors qu’aucune règle dédiée à KagiBot n’existe. Un examen limité au groupe générique omet le mécanisme de repli décrit par Kagi.

Termes associés

Questions fréquentes

Puis-je définir des règles d’exploration propres à KagiBot ?

Oui. La documentation du robot de Kagi précise que les directives standard ciblant Kagibot sont respectées. Son exemple de groupe dédié autorise l’exploration du site dans son ensemble et exclut /private/.

Un blocage générique suffit-il à décrire le recours aux règles de Googlebot ?

La même documentation de Kagi présente un blocage générique accompagné d’une autorisation pour Googlebot. En l’absence de règle KagiBot, KagiBot suit le groupe Googlebot et récupère les pages situées hors du chemin exclu /private/.

Où dois-je placer le fichier robots.txt ?

La spécification de la méthode d’accès de l’IETF impose de placer /robots.txt à la racine du service, avec un nom en minuscules. L’encodage requis est UTF-8 et le type de média est text/plain.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO