Scraping Vinted en temps réel

Bonjour, j’ai feuilleté tous les posts qui y faisaient référence sur le site, et je n’arrive pas à trouver une solution concluante sur le Scraping Vinted avec 0 délai…

Jusqu’ici, j’ai compris qu’il fallait récupérer l’adresse IP du serveur d’origine, que l’on va appeler IPSERV. J’envoie ensuite ma requête à https://IPSERV/api/v2/catalog/items?order=newest_first
avec le header :
{
‹ user-agent ›: (un agent random),
‹ cookie ›: ‹ _vinted_fr_session= › + (un cookie chopé au préalable),
‹ Host ›: « www.vinted.be »
}

je me chope inlassablement une erreur 403 : Forbidden… Quelqu’un saurait m’aiguiller par hasard ?
Merci !

Ce serait pas plus facile de directement scraper le site ?

1 « J'aime »

Est-ce que tu as essayé de passer par cette requête :

https://www.vinted.fr/api/v2/items/ID_PRODUIT

Je crois qu’il n’y a pas de latence sur cette là, mais tu as besoin de checker en permanence, en incrémentant petit à petit l’ID.

2 « J'aime »

C’est une bonne idée, je vais essayer

On peut recupérer de quelle manière le tout dernier id qui a été post ?

salut tout simplement sur l’url de la page produit exemple

www.vinted.fr/items/3950457165-dunk-low

l’id est 3950457165

Oui d’accord mais c’est pas l’URL du tous dernier produit qui a été créé ?

J’ai essayé de voir avec l’api catalog avec le paramètre order=newest_first mais c’est jamais vraiment le dernier produit,

Quand j’incremente l’ID je récupère des produits mais pas les derniers postées

On m’a parlé de websockets ça vous dis quelque chose ?

Oui je sais c’est quoi des websockets c’est pour avoir une connexion direct au serveur, mais je ne pense pas que Vinted en possède.

J’pense pas qu’on ai dû 0 délais en crawl tous les id et en incrementant

je confirme on a bien un délai, ce n’est pas de l’instant à l’époque il y avait des groupes discord qui proposer des bots pour Vinted peux être que si tu regardes leur code ton comprendras comment ils font par exemple

https://github.com/alexandre-vl/vinted-fr/tree/main

Vu que je reçois bcp de messages sur ce sujet :

Pour résumer brièvement, la niche Vinted est toujours pertinente, mais elle est actuellement saturée. Il y a deux ans, c’était une excellente opportunité :sweat_smile:. Les sources GitHub ne sont plus mis à jour (e.g avec androz), et ils ne proposent pas de solution pour éviter les délais. Pour obtenir le 0 délais, il est nécessaire d’incrémenter l’ID et de crawler sur l’adresse IP non protégée par Cloudflare. Il semble que Vinted soit en train de mettre en place Datadome aussi, ce qui pourrait rendre plus difficile l’utilisation de bots si les IPs sont changées.

les ip non protégées on les trouve où ? sur cencys j’ai trouvé des ip qui redirigent vers vinted donc qui sont protegé par cloudflare…
Je comprends que ce soit saturé mais enfaite ça fait vraiment longtemps que je cherche le 0 delais c’est devenu une affaire personnel plus qu’autre chose xD

C’était justement le sujet de mon post à l’origine, j’ai l’impression qu’il faut plus que l’IP pour y accéder

T’as essayé l’adresse ip et utiliser un bypass cf pour scraper ?

Je me pose au milieu du sujet, mais à quoi va service au final le scrap vinted ?

1 « J'aime »

A faire de l’achat revente

Je pense avoir trouvé un moyen, je te contacte en pv

Hey, any chance you could PM me as well?

peux-tu m’envoyer un message privé

Thank you

Inutile, on n’a pas avancé pour l’instant. On en revient à l’intitulé initial du poste, au sujet de l’IP à fetch pour bypass CF :frowning: