Hello tout le monde,
je suis en train d’essayer de srapper l’api vinted pour récupérer les articles 0 délai.
Sur ce poste:
@josselin m’a permis de réussir en m’indiquant le crawl sur les ids. ça fonctionne mais pour éviter de me faire rate limited j’utilise des proxies, or je n’aime pas ça car ca ralenti énormément mes requêtes. Je voudrai donc trouver le moyen de bypass cloudflare (surtout le rate limit). J’ai fais pas mal de test:
Taper l’ip en direct (je me fais quand même rate limit, peut être que je m’y prends mal ?)
Utiliser des headers du type X-Forwarded etc
Mon code est en ts mais j’ai essayé des libs python telles que cloudscrapper
Mais rien n’y fais … je me fais toujours rate limited. J’ai toujours ma solution de secours qui consiste à utiliser des proxies, mais la requête prend 3 fois plus de temps, ce qui est vraiment bloquant. En espérant que quelqu’un puisse m’aider
Au passage si quelqu’un a besoin d’aide concernant le crawl des id, qu’il n’hésite pas
