Bonjour, j’essaie de scrapper l’api de vinted: j’y arrive sauf que je récupère les articles quelques minutes après, pendant qu’un service comme vintalert ou d’autres bot discord les récupères instantanémment! D’après mes recherches il faut chercher l’adresse IP d’origine pour ne pas avoir les quelques minutes de latence, mais je n’ai pas trop bien compris. Quelqu’un pourrait m’éclairer svp ?
Cloudflare agit comme un proxy qui cache l’IP réel du serveur et en profite pour proposer à ses clients de rajouter toutes sortes de protections.
L’idée ici c’est de trouver l’IP d’origine du serveur pour éviter le proxy Cloudflare.
Une solution c’est d’utiliser des outils de logs SSL (type censys, shodan, securitytrails…) pour retrouver des traces de l’IP réel.
Mais si le travail est bien fait (ce qui est surement le cas pour vinted), l’équipe a du changer de serveur lors du passage sur Clouflare.
Tu utilises l’api mobile ?
3 « J'aime »
Merci pour ta réponse,
j’utilise cette api: https://www.vinted.fr/api/v2/catalog/items?order=newest_first
j’ai trouvé une adresse ip qui me redirige vers vinted mais je ne sais pas si c’est la bonne : IPREDACTED
Il faut savoir que des gens réussissent à scrapper un article pile poil à sa sortie, donc je suppose que y’a un moyen de le faire mais bon, reste à savoir comment faire
Topic intéressant sur le sujet :
Bonjour, effectivement cet outil permet de bypass la protection cloudflare mais pas la latence, donc ça ne résout toujours pas le problème. Mais merci!
Essaye un https://IPREDACTED/api/v2/catalog/items?order=newest_first
Avec dans le header un : Host:www.vinted.fr et ton cookie.
Salut, je suis dans le même cas, ayant déjà récupéré l’adresse ip, j’ai essayé comme tu as dit avec https://IPREDACTED/api/v2/catalog/items?order=newest_first, avec dans le header l’host et mon cookie, sauf que je suis bloqué, j’ai une erreur 401 avec :
{"code":100,"message":"Token d'authentification invalide","message_code":"invalid_authentication_token"}
Mais je ne pense pas récupérer, malgré tout, les annonces instantanément, j’ai regardé avec le topic que tu as envoyé un peu plus haut, mais sans resultat…
Si cela se trouve, ton vinted.fr est juste un serveur esclave, ce que tu vois alors c’est la latence de synchro …
Aka, le job premier de Cloudflare, c’est distribuer le plus rapidement au consommateur, servir au plus proche, accessoirement sécuriser … Ils ont aucun intérêt à ajouter autant de latence …
Et yaurait un moyen de bypass cette latence ?
Le probleme ne pourrait il pas etre que notre adresse Ip est limitée ?
Y’a le ip rate limit et y’a la latence : c’est deux choses différentes (tu peux bypass le rate limit avec des proxy, mais y’a toujours la latence)
Ce sujet a été automatiquement fermé après 365 jours. Aucune réponse n’est permise dorénavant.