En bref. Un site peut interdire l’accès à DuckAssistBot et l’autoriser à DuckDuckBot au moyen de groupes robots.txt distincts.
Définition : Oui. Au 17 octobre 2026, DuckDuckGo documente DuckAssistBot pour la récupération de pages destinées aux réponses assistées par l’IA, et DuckDuckBot pour l’exploration liée à la recherche. Des groupes robots.txt distincts permettent à un site d’interdire l’accès à DuckAssistBot tout en l’autorisant à DuckDuckBot.
Points clés
- La page d’aide de DuckDuckGo sur DuckAssistBot décrit une exploration en temps réel destinée aux réponses assistées par l’IA et précise que les données collectées ne servent pas à entraîner des modèles d’IA.
- La page d’aide de DuckDuckGo sur DuckDuckBot décrit un robot qui améliore les résultats de recherche et respecte WWW::RobotRules, un système de règles d’exclusion des robots.
- Le protocole d’exclusion des robots de l’IETF définit le jeton de produit (product token) comme le nom d’un robot servant à sélectionner le groupe robots.txt applicable.
Quelles règles robots.txt permettent de distinguer les deux robots ?
Un fichier robots.txt contient des instructions d’exploration regroupées par nom de robot. Les noms des robots sont DuckAssistBot et DuckDuckBot. L’application de la syntaxe User-agent, Disallow et Allow de la RFC 9309 donne la configuration suivante :
User-agent: DuckAssistBot
Disallow: /
User-agent: DuckDuckBot
Allow: /
La barre oblique correspond aux chemins depuis la racine du site. Le groupe DuckAssistBot interdit l’exploration de ces chemins ; le groupe DuckDuckBot l’autorise. La norme place le fichier à l’emplacement /robots.txt, à la racine du service, et impose l’encodage UTF-8 et le type de média text/plain.
Quel effet les groupes existants ont-ils sur cette configuration ?
Les règles de sélection des groupes de la RFC 9309 imposent une correspondance insensible à la casse avec le jeton de produit du robot. Un groupe désigne son robot par une ligne User-agent, suivie de ses règles. Placer les deux noms de robots au-dessus de la même ligne Disallow appliquerait cette restriction aux deux robots.
Lorsque plusieurs groupes correspondent au même jeton, leurs règles se combinent. L’ajout d’un autre groupe DuckDuckBot nécessite donc d’examiner les règles DuckDuckBot existantes : une restriction portant sur un chemin plus précis peut continuer à s’appliquer avec Allow: /. La norme retient le chemin correspondant le plus long et donne la priorité à Allow lorsque des règles d’autorisation et d’interdiction équivalentes entrent en concurrence.
Le groupe générique, User-agent: *, s’applique lorsqu’aucun groupe nommé ne correspond. L’ajout d’un groupe nommé DuckDuckBot modifie donc l’application des restrictions du groupe générique à ce robot. Toute restriction de chemin souhaitée doit figurer dans son groupe nommé.
Que change le refus d’accès à DuckAssistBot ?
Les consignes de retrait de DuckDuckGo présentent l’interdiction d’accès à DuckAssistBot comme un moyen de se retirer des sources potentielles de ses réponses assistées par l’IA. Le délai documenté est de 72 heures après la mise à jour du fichier robots.txt, après quoi DuckAssistBot cesse d’explorer le site.
La même documentation précise que ce retrait ne modifie ni le classement dans les résultats naturels ni la présence des sites dans les résultats de recherche. Elle fournit l’adresse crawling@duckduckgo.com en cas de problème lié au retrait.
Termes associés
Questions fréquentes
Dois-je mettre la chaîne complète d’agent utilisateur, de type navigateur, dans robots.txt ?
Utilisez le jeton de produit, DuckAssistBot ou DuckDuckBot, dans la ligne User-agent. La RFC 9309 distingue ce jeton de la chaîne d’identification plus longue envoyée dans une requête HTTP.
Ce blocage permet-il de s’opposer à l’entraînement des modèles d’IA ?
DuckDuckGo décrit DuckAssistBot comme un robot qui récupère des pages pour les réponses assistées par l’IA et précise que ses données ne servent pas à entraîner des modèles d’IA. Le blocage de ce robot contrôle cette activité documentée de récupération de pages pour les réponses.
Sources
- DuckDuckGo, « Is DuckAssistBot related to DuckDuckGo? », sans date
- DuckDuckGo, « Is DuckDuckBot related to DuckDuckGo? », sans date
- IETF, « Robots Exclusion Protocol », septembre 2022
Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO