Pourquoi le robot de récupération iTMS d’Apple peut-il ignorer les restrictions de robots.txt ?

Définition : L’agent utilisateur (user agent) iTMS d’Apple est un robot de récupération (fetcher) dédié aux contenus Apple Podcasts. Apple indique qu’il ne suit pas robots.txt, car sa fonction ne relève pas de la recherche générale, et qu’il explore uniquement les URL associées aux contenus enregistrés sur Apple Podcasts.

Points clés

• Apple identifie ce robot par l’en-tête de requête User-Agent: iTMS dans sa documentation sur Applebot.
• Apple précise que le trafic iTMS peut provenir d’hôtes applebot.apple.com.
• Le périmètre documenté couvre les URL associées aux contenus enregistrés sur Apple Podcasts.
• Apple précise par ailleurs qu’Applebot suit les directives standard de robots.txt qui le ciblent lors de ses explorations de recherche générale.
• La procédure de soumission d’un podcast à Apple accepte l’URL d’un flux RSS. Une fois le flux validé, les épisodes associés deviennent disponibles sur Apple Podcasts, selon la page Submit a new show.

Pourquoi iTMS échappe-t-il à la règle habituelle de robots.txt ?

robots.txt correspond au protocole d’exclusion des robots (Robots Exclusion Protocol). La spécification de l’IETF le décrit comme un ensemble de règles que les robots sont invités à respecter lorsqu’ils accèdent à des URL. Elle précise également que ces règles ne constituent pas une autorisation d’accès. Un robot utilise normalement son identifiant de produit (product token) pour sélectionner un groupe correspondant dans le fichier, puis applique les règles de ce groupe.

Apple définit iTMS comme un agent utilisateur spécial destiné à ses services en ligne, dont la fonction se distingue de celle de son robot de recherche générale. Le comportement documenté relève donc d’une politique d’Apple propre à ce robot : iTMS ne consulte pas les règles du fichier robots.txt du site, tandis qu’Applebot le fait lors de ses explorations de recherche générale. Apple justifie cette différence par le périmètre fonctionnel d’iTMS, qui récupère les URL liées aux contenus enregistrés sur Apple Podcasts.

L’identifiant fourni par Apple est :

User-Agent: iTMS

Cet en-tête sert à classer les requêtes dans les journaux d’accès. Apple explique qu’un agent utilisateur aide les responsables de sites à identifier le trafic des robots et à contrôler l’accès au moyen de robots.txt ; pour iTMS, la même documentation prévoit l’exception décrite ci-dessus.

Quand une URL de podcast est-elle considérée comme enregistrée ?

Les consignes de soumission d’Apple indiquent qu’un podcast peut être soumis au moyen d’un flux RSS hébergé par un prestataire tiers ou via Apple Podcasts Connect. La procédure comprend la saisie de l’URL du flux RSS. Apple exige que tous les podcasts passent des validations techniques et une procédure d’examen avant leur mise à disposition sur Apple Podcasts. Lorsque le flux RSS est validé, Apple précise que tous les épisodes associés à ce flux deviennent disponibles sur Apple Podcasts.

Les URL associées relèvent donc d’une relation de publication de podcasts, distincte de la sélection d’URL lors d’une exploration générale du Web. Les exigences d’Apple pour les flux RSS précisent que les URL des flux doivent respecter RSS 2.0, être accessibles publiquement et ne pas être protégées par un mot de passe. La même page exige la prise en charge des requêtes HTTP HEAD et des requêtes par plages d’octets (byte-range requests) pour la lecture en streaming. Chaque épisode doit comporter un élément <enclosure> unique, avec une URL, une longueur et un type qui précisent l’emplacement et l’hôte de l’épisode. Apple Podcasts ignore les URL <enclosure> en double.

Que contrôle le propriétaire d’un site ?

Un groupe robots.txt ciblant Applebot contrôle le robot de recherche générale documenté par Apple. Il ne permet pas de refuser l’exploration par iTMS. Voici l’exemple donné par Apple pour la recherche générale :

User-agent: Applebot
Allow: /
Disallow: /private/

Le protocole d’exclusion des robots précise que robots.txt ne remplace pas des mesures de sécurité valides pour les contenus. Un serveur peut donc imposer des restrictions d’accès indépendamment des préférences d’exploration, tandis que robots.txt reste le mécanisme de contrôle documenté pour les robots qui le respectent.

Termes associés

• Applebot
• robots.txt
• Directive User-agent de robots.txt
• Vérification de l’adresse IP d’un robot d’exploration

Questions fréquentes

Est-ce que User-agent: iTMS avec Disallow: / arrête le robot ?

Apple indique que l’agent utilisateur iTMS ignore robots.txt : un groupe correspondant dans ce fichier n’a donc aucun effet sur ce robot.

iTMS est-il le même robot que celui qu’Applebot utilise pour la recherche générale ?

Apple présente Search et Podcasts comme des agents utilisateurs distincts reposant sur Applebot. La documentation décrit iTMS séparément et lui attribue un comportement différent vis-à-vis de robots.txt.

Comment identifier une requête iTMS sur un site ?

Vérifiez la présence de iTMS dans la valeur User-Agent du journal d’accès. Apple précise également que le trafic iTMS peut provenir d’hôtes applebot.apple.com.

Sources

1. Apple, « About Applebot », 4 septembre 2026
2. Apple Podcasts for Creators, « Submit a new show », sans date
3. Apple Podcasts for Creators, « Podcast RSS feed requirements », sans date
4. IETF, « Robots Exclusion Protocol », septembre 2022

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO