Scraping leboncoin, qu'est-ce qui marche en 2019 avoir leur solution anti-bot?

Hello Paul,

Plusieurs questions concernant ton service :

  1. Est-ce qu’il faut faire deux requêtes pour avoir le contenu de l’annonce + le numéro de téléphone ? Je vois qu’il y a deux routes API j’en déduis que oui mais je préfère demander…
  2. Est-ce qu’il est possible de filtrer du moins mettre une limite sur la date de publication de l’annonce ? L’idée est de pouvoir à partir d’une requête ne pas tout récupérer à chaque fois mais bien le différentiel à partir d’une date X
  3. Je vois sur RapidAPI une latence de 9 232ms et un niveau de service à 20%. Peux-tu me / nous rassurer sur ces deux indicateurs ?

Merci par avance,
Arnaud

Bonjour !

  1. /search renvoie les résultats de ta recherche lbc (donc 35 annonces) et /phone renvoie le numéro de téléphone d’une annonce donnée, donc 2 requêtes différentes

  2. Tu dois faire ça de ton côté, l’API te renvoie uniquement le JSON de ton URL de recherche leboncoin

  3. J’ai coupé l’API depuis quelques jours le temps de faire des optimisations et des ajustements sur la stabilité du service, donc c’est normal que les stats sur RapidAPI en pâtissent !

j’ai une solution trop rapide , avec des requêtes pures , sans proxy :slight_smile:

contactez moi si vous êtes intéressé

2 « J'aime »

Datadome permet de détecter un navigateur headless ou même un chroumium.
2 façons de passer: en extension ou bien avec un WS endoint.
Ensuite, cela est un jeu d’enfants. Y compris les téls. Quelques rotations d’IPs sont néanmoins nécessaires.

Bonjour,
Je repose la question initiale du topic, en la mettant au goût du jour :
qu’est-ce qui fonctionne encore en 2021 pour scraper et recevoir des alertes sur nos recherches leboncoin ?

@Paul780, je suis allé sur ton API et me suis senti comme une poule face à un couteau :smiley:

Si vous avez des solutions fonctionnelles, je suis intéressé par vos idées, ici ou en MP :slight_smile:

Bonjour,

Même remarque que @veector, est-il toujours possible de scraper LBC avec puppeteer ?
Je suis preneur de toute piste/exploration.

Hello tout le monde, ce sujet est décidément d’actualité !
après plusieurs jours à capturer toutes les requetes get/post, recuperation des tokens… pour chercher/déposer des annonces, je fais mes tests et au final mes dépôts sont « refusés », ce système data dôme a gâché tout le travail que j’ai fait ://

C’est le jeu du Tom et Jerry. Tom n’aura pas Jerry, mais Jerry doit creuser de nouveau trou à chaque fois

J’en profite pour saluer les mecs de LBC et Datadome qui sont en train de nous lire :joy:

3 « J'aime »

Salut à vous les mecs de LBC et datadome. Bonne journée :joy:

4 « J'aime »

Salut Paul, le lien vers ton API ne fonctionne plus ?
Erreur 404 ici.

Salut, je vais relancer l’API dans les prochains jours, avec quelques petits ajouts.

Bonjour les utilisateurs de Leboncoin,

je viens de lancer mon Api pour extraire les numéros de téléphone sur leboncoin, et je souhaiterais avoir votre avis sur le prix que j’ai proposé !

Pour une utilisation illimitée de cette API envoyez-moi un message en privé.

Voici le lien de l’API:

1 « J'aime »

Hello @tous,

@lobstr on contourne tous les jours datadome sur plusieurs centaines de milliers d’annonces

Et a priori moins cher que @amnay et @Paul780
_ 20 EUR par mois, 50 annonces avec téléphone par jour
_ 50 EUR par mois, 150 annonces avec téléphone par jour
_ 150 EUR par mois, 500 annonces avec téléphone par jour

La guerre des scrapers fait rage

:joy:

Et un accès API si besoin!

Je laisse l’adresse de notre site juste là:

:crab:

500 annonces par jour reviennent a 21€ mensuels chez moi, soit 0,0014€ l’annonce. Raté !

Pour ma part, je recherche un outil d’alerte LBC qui sur une URL donnée va extraire et envoyer les nouveaux résultats postés toutes les X minutes.
La barre de recherche LBC étant limitée en nombre de caractères, serait un plus le fait de pouvoir rajouter des filtres supplémentaires sur les résultats récupérés.
Qui est capable de faire cela ? :slight_smile:

C’est possible pour moi en fonction du volume dont tu as besoin (je ne prends pas de clients si le volume est trop faible)

Qu’entends-tu par volume trop faible ?

Hello @veector

Complètement possible!

_ tu nous fournis tes URLs de recherche
_ tu paramètres ta fréquence de lancement
_ toutes les X minutes le crawler est lancé et tu reçois par mail les données collectées une fois que c’est fait

Ça ressemble grossièrement à ça:

Et on devrait avoir une jolie interface en bêta dans quelques jours:

:lobster:

Environ 5000 annonces par jour.
Si tu as besoin de moins, je peux te fournir des cookies datadome valides avec lesquels tu pourras scraper sans limites. Dernière solution, je vais relancer mon API qui gère proxies et cookies et qui facilite grandement les choses

Bonsoir à tous, désolé du double post !

l’API all-in-one pour lbc est relancée juste ici : LBC AIO API Documentation (mayliepaul) | RapidAPI

vous pouvez :

  • récupérer des cookies valides pour scraper
  • récupérer des résultats de recherche
  • récupérer des numéros de téléphone

si vous avez des questions envoyez moi un DM / posez les ici, je vous réponds demain dans la journée !

a coté de ça, si vous n’êtes pas dev ou n’avez pas envie de vous prendre la tête avec tout ça, je peux toujours vous fournir chaque jour les fichiers dont vous avez besoin, clef en main :grinning:

2 « J'aime »