Salut à tous
J’ai un script en Ruby qui tourne depuis bientôt un an qui permet de récupérer des offres d’emploi sur Indeed. Étant donné que j’ai presque 1000 requêtes par jour qui tournent, j’ai fait le script en utilisant des proxys semi-résidentiels de Webshare.
Dès que ma requête est bloquée par Cloudflare, je relance mon navigateur avec un nouveau proxy (rotatif) jusqu’au moment où la page se charge correctement.
Le souci est que depuis mi/fin décembre, la plupart de mes requêtes est bloquée par Cloudflare… Du coup, je me suis dit que j’allais tenter le challenge via Selenium. J’arrive donc à cocher automatiquement la case « Verify you are human » dès qu’elle s’affiche mais une fois que la case est cochée, ça redirige automatiquement sur la même page et j’arrive pas à valider le challenge Cloudflare… Donc je me retrouve avec une boucle infinie.
Est-ce que quelqu’un a une solution ? Ou une solution pour éviter au maximum d’être remarqué par Clouflare mais à partir du moment où mon ip de proxy est flagguée, je peux rien faire d’autres…
Merci beaucoup,
A bientôt,
Hello Oblivion,
Oui vers le 1-3 Décembre, Indeed a augmenté son anti-bot. Tu peux utiliser une solution comme GitHub - FlareSolverr/FlareSolverr: Proxy server to bypass Cloudflare protection en gratuit qui devrait encore fonctionner pour contourner.
Sinon en payant, je propose une solution stable qui permet de passer le challenge Cloudflare avec notre infrstructure : Website Rendering - Piloterr où tu n’as pas besoin de te préoccuper des proxies. Hésite pas à me contacter sur le support si tu as des questions.
1 « J'aime »
Salut,
utilise selenium_base avec le mode uc=True, ça gère cloudflare.
1 « J'aime »
Good luck my friend…
Clairement comme l’indique @josselin, ça part en cacahuète chez Indeed !
Je ne sais pas combien ils lâchent tous les mois chez Cloudflare, mais ça doit être (très) costaud ^^
Le fait de résoudre le captcha est bien mais il faut aussi avoir de bonnes IP chez différents fournisseurs (type résendentiel, voir mobile) pour que Cloudflare ne te réaffiche pas le challenge à l’infini…
Un vrai casse tête ! Pour faire référence à Taken pour les aficionado de films d’action : « Bon Chance »
1 « J'aime »