scraping vinted

bonjour j’ai codé un bot qui fait du scraping sur vinted malheureusement ce dernier nous ban Ip pendant un certain temps 5 minutes puis le bot fonctionne et le nombre de requête étant trop élevé le bot se refait bannir je voulais donc savoir si une solution était possible du style un logiciel serveur etc. qui permettraient d’avoir une Ip qui change très souvent et qui soit française car j’ai déjà essayé de passer par Tor mais ce dernier marche sur des serveurs dans d’autre pays ce qui nous vos un ban également et vpn utilisé également merci d’avance

1 « J'aime »

T’a testé les proxy à IP rotative ?

1 « J'aime »

déjà il faut vérifier que c’est l’IP qui est bannie et non la « signature » du bot, essaie de changer les en-têtes (user-agent …) si c’est bien l’IP qui est bannie, essaie de temporiser les requetes, et si c’est toujours pas bon, il faut des proxies, pas trop le choix

1 « J'aime »

Hello @maxime.D,

Ce que tu cherches s’appelle des « IP résidentiel ». :wink:
Il y a des services qui proposent des proxy permettant cela.
De ton côté tu appelles le proxy normalement, le service va dispatcher tes demandes sur des centaines d’adresse IP qui sont associées à des lieux physiques (et non des datacentres). Cela permet de te faire passer pour un « vrai » visiteur.

En parallèle suivent les conseils de @DJousto en vérifiant la signature de ton robot. :wink:

Pierre

Bonjour merci de ta réponse mais Oui j’ai tester et à Chaque fois cloud flare le bloque ducoup si vous avez une solution merci d’avance

Bonjour tu utilise Apify ou leur SDK Apify ==crawlee j’ai jamais été bloqué.

Merci pour ta réponse tu sais où je peux trouver des tutos pour mettre ça en place
Merci d’avance

Il n’y a pas de tuto mais tu peux rejoindre leur group Discord qui est en anglais; Discord
autrement tu as la documentation de Crawlee ici : Quick Start | Crawlee

Ce sujet a été automatiquement fermé après 365 jours. Aucune réponse n’est permise dorénavant.