Salut tout le monde,
Sujet scraping mais cette fois de l’autre côté du script.
J’ai détecté du scraping sur mon site ce matin (Cloudflare) et j’ai mis en places quelques règles pour contrecarrer ça. Je place explicitement une première règle pour que les suivantes ne s’appliquent pas sur les crawlers légitimes (google, amazon… + les IA) via l’expression cf.client bot de Cloudflare.
Malheureusement en regardant les events, je me retrouve quand même avec quelques uns qui ne sont pas dans la liste Cloudflare et donc se retrouvent bloqués. Je ne sais pas trop si c’est côté CF ou bien si les boîtes qui crawlent ne mettent pas à jour leur template d’UA et de plages d’IP.
Quelqu’un aurait il déjà rencontré le même problème ?
Salut,
Classique, et tes deux pistes sont bonnes — les deux jouent.
cf.client.bot = l’annuaire des verified bots de CF. Un crawler n’est true que s’il a été validé par Cloudflare (reverse DNS + ASN + listes publiques). « Légitime » ≠ « dans la liste CF ».
Tes deux cas :
-
Côté opérateur : le bot n’a jamais été soumis au programme verified bots (beaucoup de petits crawlers SEO et de crawlers IA récents), ou il a été délisté faute de trafic récent (~24h).
-
Côté CF : décalage de propagation quand l’opérateur change ses plages d’IP. C’est documenté avec Yandex : UA correct mais nouvelles IP pas encore synchro sur le réseau = blocage temporaire, jusqu’à 48h, ça se résout tout seul.
Concrètement : te repose pas que sur cf.client.bot. Identifie tes events bloqués par UA + ASN + IP, et pour ceux que tu veux garder, mets une règle allow explicite (ASN + regex UA) avant tes règles de blocage. Plus robuste face aux décalages.
Si tu veux du grain plus fin, cf.verified_bot_category (dispo tous plans) te laisse segmenter par type (Search Engine / AI Crawler…) au lieu d’un booléen tout-ou-rien.
2 « J'aime »
Ca marche merci beaucoup c’est très clair!
Je regarderai pour cf.verified_bot_category, pour le moment je ne cherche pas à optimiser à fond mais à faire le 80/20 nécessaire.
Potentiellement, notre ami @josselin a la solution !
Bonjour M. Tonent, en effet, il faut 1. monitorer ses logs CF puis 2. bien org ses règles hierachiquement. Et ensuite, l’utilisation de Piloterr peut constituer un atout important pour combattre le mal.