Quels Content Signals Cloudflare ajoute-t-il au fichier robots.txt géré ?

L'équipe Citead, mis à jour le

En bref. Cloudflare documente search=yes, ai-train=no et use=reference dans le fichier robots.txt géré, tout en laissant ai-input non défini.

Définition : Les Content Signals déclarent les usages autorisés du contenu d’un site web dans robots.txt, le fichier qui communique les préférences d’accès des robots d’exploration. Au 17 octobre 2026, Cloudflare documente une ligne Content-signal gérée contenant search=yes, ai-train=no et l’extension en cours de test use=reference.

Points clés

Que signifient les champs d’origine ?

L’annonce de la politique de Cloudflare définit le vocabulaire d’origine. search couvre la création d’un index et l’affichage de résultats de recherche contenant des liens et de courts extraits. Sa définition exclut les synthèses de recherche produites par l’IA. ai-input couvre l’utilisation du contenu d’un site web comme entrée de modèles pour produire des réponses en temps réel. ai-train couvre l’entraînement ou l’ajustement fin des modèles (fine-tuning).

Pour ces champs, yes autorise la collecte pour l’usage correspondant et no la refuse au titre de la politique. Les valeurs gérées autorisent donc l’usage pour la recherche et refusent l’usage pour l’entraînement. L’annonce explique pourquoi Cloudflare laisse ai-input non défini : l’entreprise évite de présumer de la préférence du client. Lorsqu’il est omis, le champ ai-input laisse l’autorisation pour cet usage inexprimée au moyen des Content Signals.

Que signifie le champ supplémentaire use ?

L’annonce sur l’utilisation du contenu de Cloudflare ajoute une dimension distincte : ce qu’un robot conserve et partage après l’accès. Elle présente les niveaux suivants par ordre croissant d’autorisation :

  • use=immediate autorise l’interaction sans stockage ni réutilisation du contenu.
  • use=reference autorise l’indexation, les extraits et les liens vers le contenu d’origine.
  • use=full autorise les résumés et la reproduction.

L’annonce ajoute use=reference aux fichiers gérés. L’exemple de configuration gérée est le suivant :

User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /

La valeur use accompagne les champs relatifs aux finalités sur la même ligne, avec des virgules comme séparateurs.

Comment vérifier la politique servie ?

La vérification se fait dans la réponse du site à la requête /robots.txt. La documentation du fichier géré de Cloudflare indique que l’entreprise place le contenu géré avant le contenu du fichier existant. La ligne Content-signal: ainsi que les commentaires de la politique commençant par # sont à examiner.

La même documentation distingue le texte de la politique des valeurs choisies : les domaines de l’offre Free remplissant les conditions peuvent recevoir le texte explicatif de la politique sans exprimer de préférences précises. Elle indique également que le respect de robots.txt est volontaire. Cloudflare renvoie les exploitants de sites vers AI Crawl Control pour faire appliquer les restrictions d’accès aux robots.

Termes associés

Questions fréquentes

search=yes inclut-il les synthèses de recherche produites par l’IA ?

La définition de la politique de Cloudflare exclut de search les synthèses de recherche produites par l’IA. Elle définit séparément, sous ai-input, l’utilisation du contenu comme entrée des modèles pour produire des réponses.

La présence de la politique signifie-t-elle que j’ai sélectionné ai-train=no ?

Les commentaires explicatifs seuls n’expriment aucune préférence précise. Vérifiez que le fichier servi contient une ligne Content-signal: avec ai-train=no.

Sources

  1. Cloudflare, « robots.txt setting », mis à jour le 8 octobre 2026
  2. Cloudflare, « Giving users choice with Cloudflare’s new Content Signals Policy », 24 septembre 2025
  3. Cloudflare, « Your site, your rules: new AI traffic options for all customers », 1er juillet 2026

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Testez une page et voyez quoi corriger en premier

L'analyse prend en général moins de 10 secondes et ne demande pas de compte.

400 000+ pages notées dans le benchmark public