En bref. AWS WAF Bot Control ignore généralement les robots vérifiés dans les règles gérées, à l’exception de la règle documentée CategoryAI.

Définition : AWS WAF Bot Control ajoute une étiquette (label) bot:verified lorsqu’il peut vérifier un robot qui s’identifie comme tel. La plupart des règles de catégorie et de signal ignorent alors ce robot, tandis que la règle documentée CategoryAI applique toujours son action aux requêtes correspondantes provenant de robots vérifiés.

Points clés

La référence des règles gérées Bot Control d’AWS définit awswaf:managed:aws:bot-control:bot:verified pour un robot qui s’identifie comme tel et que Bot Control peut vérifier.
Pour les règles de catégorie documentées, l’action s’applique uniquement aux robots non vérifiés ; les robots vérifiés reçoivent des étiquettes de nom de robot, de catégorie et de vérification, sans que la règle applique d’action.
CategoryAI constitue l’exception indiquée dans le tableau des règles : elle applique son action à toutes les requêtes correspondantes, quel que soit le statut de vérification du robot.
Les règles de signal telles que SignalAutomatedBrowser, SignalKnownBotDataCenter et SignalNonBrowserUserAgent inspectent les requêtes qui ne proviennent pas de robots vérifiés.
La documentation AWS WAF sur les étiquettes précise qu’une étiquette reste disponible pour les règles suivantes jusqu’à la fin de l’évaluation de la liste de contrôle d’accès web (web ACL).

Quelle étiquette désigne un robot vérifié ?

L’espace de noms de Bot Control est awswaf:managed:aws:bot-control:. Dans cet espace, l’étiquette bot:verified signifie qu’un robot s’identifie comme tel et qu’AWS WAF a pu le vérifier. La même documentation répertorie les étiquettes de nom de robot et de catégorie, qui peuvent être combinées avec l’étiquette de vérification lorsqu’une règle exige une correspondance plus précise.

awswaf:managed:aws:bot-control:bot:verified
awswaf:managed:aws:bot-control:bot:category:search_engine
awswaf:managed:aws:bot-control:bot:name:googlebot

AWS documente également bot:web_bot_auth:verified pour une requête dont la signature Web Bot Authentication a été validée à l’aide d’un répertoire de clés publiques. Cette étiquette indique le résultat de la vérification de la signature WBA. Elle est distincte de l’étiquette plus générale bot:verified utilisée dans la taxonomie de Bot Control.

Quelles règles gérées continuent de s’appliquer ?

Les entrées des catégories ordinaires dans la référence des règles gérées précisent que les robots vérifiés ne correspondent pas à la règle et ne font l’objet d’aucune action de sa part. La référence décrit ce traitement pour des catégories comprenant la publicité, l’archivage, la récupération de contenu, la surveillance, les frameworks de scraping et les moteurs de recherche. Le groupe de règles ajoute tout de même les étiquettes de nom de robot, de catégorie et bot:verified.

Le périmètre documenté de CategoryAI diffère. AWS précise que cette règle applique son action à toutes les requêtes correspondantes, que le robot soit vérifié ou non. Une étiquette de vérification ne soustrait donc pas une requête à cette règle.

Les règles de signal nommées dans la référence s’appliquent aux requêtes non vérifiées. Leurs descriptions précisent que les robots vérifiés ne correspondent pas à ces règles et ne reçoivent pas les étiquettes de signal ou de règle correspondantes. La règle ciblée TGT_TokenAbsent inspecte elle aussi les requêtes qui ne proviennent pas de robots vérifiés et utilise l’action Count.

Que signifient les étiquettes de vérification similaires ?

AWS distingue les robots vérifiés ordinaires de deux catégories voisines. bot:user_triggered:verified identifie un robot semblable à un robot vérifié, susceptible d’être invoqué directement par des utilisateurs finaux. bot:developer_platform:verified identifie un robot similaire utilisé par une plateforme de développement pour exécuter des scripts ; la documentation donne Google Apps Script comme exemple. AWS précise que les règles Bot Control traitent ces deux catégories comme des robots non vérifiés.

Le groupe de règles gérées peut ajouter des étiquettes sans mettre fin à l’évaluation. La présentation de Bot Control d’AWS précise que les étiquettes produites comprennent la catégorie et le nom du robot, et que des règles AWS WAF personnalisées peuvent rechercher ces étiquettes. La documentation générale sur les étiquettes décrit le même enchaînement : une étiquette ajoutée par une règle à laquelle la requête correspond reste disponible jusqu’à la fin de l’évaluation de la web ACL, ce qui permet à une règle ultérieure de correspondance d’étiquettes de traiter une requête après Bot Control.

Comment un site web peut-il traiter un robot vérifié ?

La référence des règles gérées précise que le groupe autorise les robots vérifiés habituellement autorisés. Une règle personnalisée peut néanmoins utiliser les étiquettes pour bloquer tous les robots vérifiés ou un sous-ensemble choisi. Une règle de correspondance d’étiquettes placée après Bot Control peut s’appuyer sur l’étiquette de catégorie, de nom ou de vérification.

Termes associés

Questions fréquentes

Un robot vérifié de moteur de recherche correspond-il à la règle de la catégorie des moteurs de recherche ?

Non. AWS précise que l’action de catégorie s’applique uniquement aux robots non vérifiés. Un robot vérifié reçoit les étiquettes de catégorie et de vérification, tandis que cette règle de catégorie n’applique aucune action.

Une règle AWS WAF personnalisée peut-elle bloquer un robot vérifié ?

Oui. Vous pouvez créer une règle ultérieure de correspondance d’étiquettes utilisant les étiquettes Bot Control et choisir le traitement de la requête correspondante. AWS décrit le groupe géré comme autorisant les robots couramment vérifiés, tout en permettant à des règles personnalisées de les bloquer tous ou en partie.

Les robots vérifiés déclenchés par l’utilisateur sont-ils traités comme les robots vérifiés ordinaires ?

Non. AWS attribue à bot:user_triggered:verified une étiquette propre et précise que les règles Bot Control traitent cette catégorie comme un robot non vérifié.

Sources

Vérifiez comment une page se lit pour les moteurs de réponse. Ouvrir l’analyseur de score GEO

Comment les règles AWS WAF Bot Control traitent-elles les robots vérifiés ?