Par Elisha Bajemon | Publié le 17 octobre 2026

Comment repérer les robots d’IA dans les journaux de votre serveur ?

En bref

Dans vos logs serveur, recherchez GPTBot, ClaudeBot et PerplexityBot dans le champ agent utilisateur, puis vérifiez leur adresse IP avec les listes officielles. Cette méthode suppose que votre journal enregistre ce champ, comme le prévoit le format combined d’Apache. Une chaîne d’agent peut être imitée, rappelle Google dans sa documentation du 14 juillet 2026. Pour le suivi, nous recommandons de conserver des totaux par robot, jour et page publique, après vérification de l’origine des requêtes.

Points clés

• Le format combined d’Apache enregistre notamment l’adresse du client ou son nom d’hôte, la date, la requête, le statut, le référent et l’agent utilisateur.
• OpenAI publie des listes d’adresses par agent et peut ajouter le marqueur robots.txt lorsque GPTBot ou OAI-SearchBot demande ce fichier.
• Perplexity recommande de combiner la chaîne d’agent et la vérification de l’adresse IP.
• Le fichier d’adresses d’Anthropic porte une date de création au 7 octobre 2026.
• Google, le 20 mars 2026, décrit une recherche DNS inverse puis directe, ou une comparaison avec ses listes d’adresses.
• La CNIL inclut l’adresse IP parmi les données personnelles. Notre recommandation consiste à séparer la vérification technique du tableau de suivi agrégé.

Qu’enregistre un journal d’accès ?

Un journal d’accès consigne les requêtes traitées par le serveur, avec les informations prévues dans sa configuration. Selon la documentation Apache, la directive CustomLog détermine son emplacement et son contenu. Demandez à votre hébergeur où récupérer ce journal et quel format il utilise. Si un réseau de diffusion de contenu intervient, demandez aussi quel journal couvre les requêtes reçues à ce niveau.

Apache documente cette chaîne de configuration pour le format combined :

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"" combined

%h représente l’adresse du client, ou son nom d’hôte si cette résolution est activée ; %t correspond à la date et à l’heure de réception de la requête. %r contient la requête, %>s le code de réponse et %b la taille de l’objet retourné, hors en-têtes de réponse. Les derniers champs indiquent le référent déclaré et l’agent utilisateur.

Le champ agent utilisateur contient le nom que le client annonce au serveur. Pour préparer votre export, vérifiez donc sa présence avant de chercher des robots. Apache avertit aussi que l’adresse enregistrée peut être celle d’un serveur intermédiaire. Faites confirmer par votre hébergeur quelle adresse correspond à l’origine de la requête dans votre configuration : c’est celle qui servira à la vérification.

Quels noms d’agents faut-il chercher ?

Cherchez les noms publiés par les éditeurs, en conservant la distinction entre entraînement, recherche et actions demandées par un utilisateur. Le tableau reprend leurs documentations : OpenAI, Anthropic, 7 avril 2026, Perplexity et Apple, 4 septembre 2026.

Nous recommandons de filtrer sur ces noms plutôt que sur une chaîne complète figée : OpenAI précise que certains numéros de version peuvent changer, et Apple fait évoluer la version de navigateur annoncée. Conservez le nom exact de l’agent dans votre classement pour distinguer les usages déclarés.

Google, dans sa liste du 14 juillet 2026, précise que Google-Extended n’a aucun agent HTTP propre. Ce jeton sert dans robots.txt ; l’exploration passe par les agents Google existants. Une recherche de ce seul nom dans les journaux ne mesure donc pas cette activité.

La fiche « OAI-SearchBot, GPTBot et ChatGPT-User : les trois robots d’OpenAI et ce que fait chacun » complète ce repérage.

Comment vérifier qu’une visite vient bien de l’éditeur ?

Comparez l’adresse d’origine de la requête avec la liste officielle actuelle du robot annoncé. Perplexity demande d’utiliser ses plages les plus récentes et d’associer cette vérification au nom d’agent. Les liens du tableau évitent de figer des plages d’adresses dans votre procédure.

Pour analyser les logs de GPTBot, relevez les lignes qui portent ce nom, puis contrôlez leur adresse avec gptbot.json. Appliquez le même principe aux autres agents OpenAI avec leur fichier respectif. Pour ClaudeBot, Anthropic indique qu’une adresse présente dans sa liste établit une origine Anthropic ; le nom d’agent reste nécessaire pour distinguer ses usages.

La procédure Google du 20 mars 2026 propose une autre vérification :

1. Recherchez le nom d’hôte associé à l’adresse IP, par une résolution DNS inverse.
2. Vérifiez le domaine obtenu : googlebot.com, google.com ou googleusercontent.com, selon la catégorie documentée.
3. Résolvez ensuite ce nom d’hôte en adresse IP et vérifiez qu’il renvoie à l’adresse de départ.

Apple, le 4 septembre 2026, documente la vérification du domaine applebot.apple.com et la correspondance entre nom d’hôte et adresse. Apple propose également son fichier d’adresses.

Dans votre suivi, nous recommandons de séparer les requêtes vérifiées de celles dont seul le nom d’agent correspond. Notez la date de la vérification et le fichier utilisé. Pour un ancien journal, conservez aussi le contexte temporel : une comparaison avec la liste actuelle décrit ce contrôle, sans reconstituer l’état passé de la liste.

Comment compter les passages sans conserver les adresses IP dans le suivi ?

Après vérification, conservez des totaux par agent, jour et page publique. La définition de la CNIL inclut l’adresse IP parmi les données personnelles. La méthode suivante est notre recommandation pour limiter les informations présentes dans votre tableau de suivi.

Commencez par définir la période analysée, le fuseau horaire et le journal utilisé. Gardez ces paramètres avec les totaux pour pouvoir comparer des périodes équivalentes. Traitez les adresses pendant la vérification, puis produisez un tableau contenant le jour, l’agent vérifié, le chemin public demandé, le code de réponse et le nombre de requêtes.

Pour ce tableau, nous recommandons d’écarter les adresses IP, les identifiants de personnes, les référents détaillés et les paramètres d’URL. Vérifiez aussi que le chemin conservé ne contient aucun identifiant personnel ; sinon, regroupez ces requêtes à un niveau plus général. Un comptage destiné à suivre des pages publiques n’a pas besoin de reprendre toutes les informations du journal brut.

Gardez une catégorie distincte pour les demandes de robots.txt. Selon OpenAI, GPTBot et OAI-SearchBot peuvent ajouter ce marqueur à leur chaîne d’agent lorsqu’ils lisent le fichier. Le chemin demandé reste utile pour séparer ces contrôles des demandes de pages.

Cette recommandation porte sur l’export de suivi ; elle ne fixe aucune durée de conservation des journaux d’origine.

Que montre un comptage de passages ?

Le comptage indique quelles ressources ont été demandées et quels codes le serveur a renvoyés. Vercel et Ora, le 28 août 2026, rappellent qu’une réponse HTTP 200 confirme un accès, sans établir que le contenu retourné contient la réponse recherchée ni que l’agent l’a correctement interprété. Un passage ne démontre donc ni une citation ni une visite humaine ultérieure.

L’usage déclaré du robot aide à lire le résultat. OpenAI explique que ChatGPT-User intervient pour certaines actions d’utilisateurs et peut demander une page en réponse à une question. Nous recommandons de garder cette activité séparée de celle des robots d’exploration dans le tableau.

L’absence de passage immédiat demande aussi du contexte. Dans son billet du 17 décembre 2024, Vercel rapporte ne pas toujours observer de requête immédiate vers nextjs.org lorsque Claude ou ChatGPT reçoit une demande d’information fraîche sur cette documentation. Vercel avance l’hypothèse d’un recours au cache ou aux données d’entraînement. Cette observation porte sur nextjs.org et les demandes décrites.

Comment tester l’accès d’un agent sans attendre sa visite ?

Vous pouvez envoyer une requête avec une chaîne d’agent documentée et examiner la réponse du serveur. Le guide de Vercel et Ora du 28 août 2026 propose un test avec curl, puis la lecture du code de réponse et du contenu HTML retourné.

Pour préparer ce test, nous recommandons de choisir une page publique précise et de relever le passage attendu dans le HTML. Faites effectuer la requête par la personne qui administre le site, puis comparez le contenu reçu avec ce passage. Le guide signale notamment qu’un refus HTTP 403 ou un contenu accessible uniquement après exécution de JavaScript empêche un agent qui n’exécute pas ce code de lire le contenu recherché.

Le résultat dépend toutefois de l’origine réseau de votre test. Vercel et Ora expliquent que les protections contre les robots accordent davantage de poids à cette origine qu’à la seule chaîne d’agent. Contrôlez ensuite les requêtes réelles dans les journaux, en vérifiant leurs adresses : ce rapprochement permet d’évaluer l’accès du robot concerné.

Pour aller plus loin

• Autoriser ou bloquer GPTBot, ClaudeBot et PerplexityBot : ce que change chaque ligne du robots.txt.
• Les robots d’IA exécutent-ils le JavaScript ? Ce que montrent les relevés publiés par Vercel.
• Combien de pages un robot d’IA lit pour une visite renvoyée : les ratios publiés par Cloudflare.