Comment un éditeur peut-il demander à Brave de réexplorer une page après l’ajout de noindex ?

Définition : Un éditeur peut ajouter une directive noindex à une page, puis demander à Brave de réexplorer (re-fetch) cette URL depuis sa page de soumission d’URL. Brave indique que cette nouvelle exploration est nécessaire pour appliquer la directive et retirer la page de son index.

Points clés

• Brave indique que son robot d’exploration repère les pages et indexe leur contenu. Sa page d’aide sur le robot Brave Search précise aussi qu’une page ou un domaine que Googlebot ne peut pas explorer échappe également à l’exploration de Brave.
• Brave indique que robots.txt n’est pas le mécanisme utilisé pour empêcher l’indexation d’une page. Il désigne la directive robots noindex comme le moyen de retirer une page de l’index.
• Une fois la directive ajoutée, Brave indique devoir réexplorer la page pour appliquer la modification. La même page d’aide renvoie vers la page de soumission d’URL de Brave pour effectuer cette demande.
• La documentation de Google sur noindex décrit deux modes de mise en œuvre, une balise meta et un en-tête de réponse HTTP, qui ont le même effet pour Google.
• Google indique qu’un robot doit pouvoir récupérer la page ou la ressource pour en lire les balises et les en-têtes HTTP. Un blocage dans robots.txt empêche ce robot de lire la directive.

Comment demander une nouvelle exploration à Brave ?

La modification de la page doit d’abord être publiée. Pour une page HTML, il faut ajouter une directive robots noindex. La demande s’effectue ensuite sur la page Submit URL de Brave, en saisissant l’URL de la page dans le champ intitulé « Insert the URL to be re-fetched », puis en sélectionnant Submit. La page d’aide sur le robot de Brave désigne cette page comme le point d’entrée pour demander une nouvelle exploration.

La demande porte sur une seule URL. La formulation de Brave relie directement les étapes : la page est mise à jour avec noindex, Brave la réexplore, puis cette nouvelle exploration applique la modification en retirant la page de l’index. La page d’aide ne précise aucun délai d’exécution pour ce processus.

Comment la page doit-elle présenter noindex ?

Google documente deux façons de transmettre la directive. Une page HTML peut placer la balise meta dans sa section head :

<meta name="robots" content="noindex">

Pour une ressource telle qu’un PDF, un fichier vidéo ou un fichier image, Google documente la forme suivante dans la réponse HTTP :

X-Robots-Tag: noindex

Google indique que les deux formes ont le même effet pour son robot et que noindex dans robots.txt n’est pas pris en charge. La page d’aide de Brave mentionne la directive robots noindex sans documenter de syntaxe d’en-tête distincte propre à Brave. La mise en œuvre doit donc correspondre au type de ressource et à la configuration du serveur ou du système de gestion de contenu (CMS) de l’éditeur.

Que faut-il rendre explorable avant la demande ?

La page doit rester accessible au robot pendant que Brave traite la demande. Brave indique que son robot n’explore pas un domaine ou une page que Googlebot ne peut pas explorer. Google précise également que la page ou la ressource doit être accessible au robot et ne doit pas être bloquée par robots.txt, car un robot bloqué ne peut pas lire la règle noindex.

L’ordre des étapes compte donc : publier la directive au niveau de la page, garder l’URL accessible à l’exploration, puis soumettre l’URL au moyen du formulaire de Brave. Une règle robots.txt seule ne fournit pas la directive au niveau de la page décrite dans l’aide sur le robot de Brave.

Termes associés

• noindex
• Brave Search API
• Brave publie-t-il un user-agent distinct pour son robot d’exploration ?
• Directive Disallow de robots.txt

Questions fréquentes

robots.txt retire-t-il la page de l’index de Brave ?

Brave indique que robots.txt ne sert pas à empêcher l’indexation d’une page. La procédure documentée consiste à ajouter une directive robots noindex au niveau de la page, puis à demander une nouvelle exploration.

Un éditeur peut-il soumettre l’URL d’une page qui n’existe plus ?

Oui. La page d’aide sur le robot de Brave indique qu’un éditeur peut soumettre l’URL d’une page qui n’existe plus pour en demander le retrait de l’index. Elle donne également l’adresse de contact not-found@brave.com pour ce cas.

Que faire si l’URL contient des données personnelles ?

Brave renvoie les demandes concernant les données personnelles vers ses consignes et sa procédure relatives au droit à l’oubli (Right To Be Forgotten). Cette démarche est distincte de la procédure habituelle de réexploration après ajout de noindex par un éditeur.

Sources

1. Brave Search, « Brave Search Crawler », 14 août 2020
2. Brave Search, « Submit URL - Brave Search », sans date
3. Google Search Central, « Block Search Indexing with noindex », 10 décembre 2025

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO