AWS WAF traite-t-il les robots vérifiés déclenchés par un utilisateur comme les robots d’exploration vérifiés des moteurs de recherche ?

Définition : Non. AWS WAF attribue aux robots déclenchés par un utilisateur (user-triggered) et aux robots des plateformes de développement (developer-platform) des étiquettes (labels) contenant verified, mais sa documentation Bot Control indique que ces deux catégories sont traitées comme des robots non vérifiés. Les règles de catégorie appliquent à un robot vérifié de moteur de recherche le traitement habituel des robots vérifiés.

Points clés

• AWS définit les étiquettes distinctes bot:user_triggered:verified et bot:developer_platform:verified et indique que les deux catégories sont traitées comme des robots non vérifiés dans sa référence des règles gérées Bot Control.
• Le niveau de protection commun d’AWS attribue des étiquettes aux robots qui déclarent leur identité et vérifie les robots généralement souhaitables, selon sa présentation de Bot Control.
• La documentation AWS WAF sur les étiquettes indique qu’une étiquette reste accessible aux règles exécutées plus tard dans l’évaluation de la liste de contrôle d’accès web (web ACL).

Quelles étiquettes sont comparées ?

La référence des règles gérées Bot Control d’AWS utilise bot:verified pour un robot qui déclare son identité et que Bot Control peut vérifier. Elle indique que cette étiquette peut être combinée avec une catégorie telle que bot:category:search_engine ou un nom tel que bot:name:googlebot.

Les deux catégories similaires possèdent leurs propres étiquettes complètes. Le mot verified dans ces étiquettes décrit le nom de la catégorie, tandis que le traitement documenté des règles reste celui qu’AWS attribue à cette catégorie :

awswaf:managed:aws:bot-control:bot:verified
awswaf:managed:aws:bot-control:bot:category:search_engine
awswaf:managed:aws:bot-control:bot:user_triggered:verified
awswaf:managed:aws:bot-control:bot:developer_platform:verified

user_triggered:verified identifie un robot semblable à un robot vérifié, mais qui peut être invoqué directement par des utilisateurs finaux. developer_platform:verified identifie un robot similaire utilisé par des plateformes de développement pour exécuter des scripts. AWS donne Google Apps Script comme exemple pour la seconde catégorie.

Comment s’applique la comparaison avec les moteurs de recherche ?

La référence des règles gérées décrit CategorySearchEngine comme une règle qui inspecte les robots explorant les sites web pour en indexer le contenu et rendre les informations accessibles dans les résultats des moteurs de recherche. L’action indiquée est Block pour les robots non vérifiés. Pour les robots vérifiés, le groupe de règles ne considère pas cette règle comme applicable et n’effectue aucune action, tout en ajoutant les étiquettes du nom du robot, de sa catégorie et bot:verified.

C’est le traitement habituel des robots vérifiés. AWS précise séparément que les règles Bot Control traitent les catégories de robots déclenchés par un utilisateur et de robots des plateformes de développement comme des robots non vérifiés. Le nom de leurs étiquettes ne leur confère donc pas l’exemption accordée aux robots vérifiés de la catégorie des moteurs de recherche.

Que peut faire une ACL web avec ces étiquettes ?

Bot Control ajoute des étiquettes aux requêtes évaluées et la présentation de Bot Control d’AWS indique que des règles AWS WAF personnalisées peuvent rechercher ces étiquettes. La documentation générale sur les étiquettes précise qu’une étiquette ajoutée à la suite d’une correspondance reste accessible jusqu’à la fin de l’évaluation de l’ACL web. Une règle ultérieure fondée sur la correspondance d’étiquettes peut donc utiliser le résultat de Bot Control.

Le groupe géré lui-même ne bloque pas l’ensemble des robots vérifiés habituellement autorisés. AWS indique qu’une règle personnalisée peut utiliser les étiquettes pour bloquer ces robots ou une partie d’entre eux. Une ACL web peut donc définir un traitement distinct pour l’étiquette complète des robots déclenchés par un utilisateur, celle des robots des plateformes de développement ou une combinaison plus précise avec un nom de robot ou une catégorie.

Termes associés

• Quelles différences entre les niveaux d’inspection d’AWS WAF Bot Control ?
• Quand une règle AWS WAF exécutée plus tard peut-elle reconnaître une étiquette ajoutée par une autre règle ?
• Comment les règles AWS WAF Bot Control traitent-elles les robots vérifiés ?

Questions fréquentes

La présence de verified dans l’étiquette signifie-t-elle que le robot reçoit le traitement des robots d’exploration de recherche vérifiés ?

Non. AWS utilise des étiquettes distinctes pour les catégories de robots déclenchés par un utilisateur et de robots des plateformes de développement et indique que les deux sont traitées comme des robots non vérifiés.

Un robot vérifié de moteur de recherche est-il traité de la même manière ?

Non. Pour la règle CategorySearchEngine, AWS indique que les robots vérifiés ne correspondent pas à la règle et qu’elle n’effectue aucune action sur eux, tandis que le groupe de règles ajoute leurs étiquettes de robot et de vérification.

Puis-je traiter les deux catégories avec une règle personnalisée exécutée plus tard ?

Oui. Les étiquettes Bot Control restent accessibles aux règles ultérieures pendant l’évaluation de l’ACL web et AWS documente l’utilisation de correspondances d’étiquettes dans des règles personnalisées pour traiter les requêtes.

Sources

1. AWS, « AWS WAF Bot Control rule group », sans date
2. AWS, « Web request labeling in AWS WAF », sans date
3. AWS, « AWS WAF Bot Control », sans date

---

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO