Scraping leboncoin, qu'est-ce qui marche en 2019 avoir leur solution anti-bot?

Salut, ton site fonctionne encore ? je ne recois pas d’email de confirmation.
j’ai l’impression que tous les sites sités dans cette thread ne fonctionnent plus

Salut,

Je relance un peu le sujet. Je suis dans la même problématique que beaucoup… Datadome.
J’ai essayé un petit script en node.js ou en PHP sans succès. Le captcha me vire, je ne sais pas l’outrepasser.

Si on peut en discuter en MP avec l’un ou l’autre ? Ou si quelqu’un a un service a recommander…

Thx !

Salut les gars,
Même situation que plusieurs personne ici, le captcha me vire quoi que j’essaye, si je tente plus d’une requête avec la même IP, c’est mort. Je me demande si je ne suis pas blacklisté d’une certaine manière.

Salut @Axx, quel est ton objectif d’automatisation en l’espèce ? On peut en discuter plus en détail par mp si tu as besoin d’infos sur comment contourner certaines mesures :slight_smile:

Sinon @Waker en effet ton IP peux être blacklistée à partir d’un certain nombre de requêtes.

1 « J'aime »

Salut @Terros merci pour ta réponse, je fais tourner mon adresse IP, lorsque mon adresse IP change, la requête s’effectue correctement à la premiere itération, puis la deuxième fois le captcha s’affiche, est-ce qu’il y aurait autre chose que leboncoin pourrait tracer à part l’IP par hasard ?

Désolé pour la réponse tardive.

Scrapper les véhicules, en fonction des critères / filtre et enregistrer les infos.

Je voulais te MP @Terros mais je ne peux pas !

@Waker Ton système de scraping doit être détecté par le script JS de Datadome, injecté sur le Browser. Si c’était l’IP tu ne passerais pas une seule requête :wink:

My two cents!

Rebonjour à tous,

j’ai fini de tester ma solution pour scraper Leboncoin sans proxies.
Je vous propose un test de deux jours, contactez moi en MP pour voir. Le but dans le un premier temps est de faire une montée en charge.

2 modes de notification : Google Sheets (infos sans description ni photos) ou Discord (avec description et photos) et bien sur toutes les infos sur les annonces, qu’elles soient automobiles, « basiques » ou immobilières !

Je peux récupérer aussi les numéros de téléphone mais je réfléchis à l’ajouter ou non au script.

Contactez moi en MP si vous avez des questions ou si vous voulez tester !

Salut t’arrive à en scraper combien d’annonces par jour avec les tels ? Actuellement je dépasse pas les 15000 annonces / jours

Sinon si ca intéresse quelqu’un je pose des annonces en masse gestion des messageries des comptes via speadsheet :slight_smile:

Salut !

Je ne scrape pas en quantité, je surveille juste les recherche de mes clients pour les avertir en temps réel (moins de 15secondes entre la publication de l’annonce et ma notif) des nouvelles annonces qui les intéressent.

Je testerai à pleine charge pour voir mais, à mon sens, la seule limite est la quantité de data de proxies que tu veux utiliser (et vu la taille de la requête pour le numéro de tel, ça en crame pas du tout).

1 « J'aime »

Tu n’as pas testé tous les outils :wink:
On est toujours opérationnel chezImmoji :slight_smile:

1 « J'aime »

Oui en effet sur immoji.fr, vous avez l’air d’être bien à jour sur l’île de france!
Avez-vous une documentation d’une Api ou Webhook pour me vendre vos données?
Mon besoin est d’avoir tout les biens en vente sur l’Ile de france toute les 20 minutes.

Bonjour @Toures, yes, notre solution tourne toujours, et n’est pas restreinte qu’à l’île de france :wink:
Nous avons une api disponible permettant de récupérer en quasi temps-réel les annonces que l’on récupère, avec à disposition plus d’une vingtaines de champs (prix, localisation, prix/m2, mots-clés, doublons, site d’origine, appartement/maison etc…). Un webhook nous n’en avons pas pour le moment mais pouvons en mettre à disposition. Je vous propose de passer en MP pour étudier vos besoins :slight_smile:

1 « J'aime »

Merci pour ces informations,
Je vous ai Mp

1 « J'aime »

Bonsoir à tous,

Après plusieurs jours de test, je suis capable de scraper les nouvelles annonces de Leboncoin et leurs numéros de téléphone (environ 70k annonces + num téléphone aujourd’hui sur les annonces publiées dans la journée).

Si vous avez ce type de besoin contactez moi en MP !

1 « J'aime »

bonjour notifan est toujours disponible ?

Bonjour, le service a subi quelques transformations mais oui, je suis toujours disponible pour scrapper et surveiller leboncoin !

J’en appelle aux experts LBC!
J’ai essayé de me créer une cinquantaine de comptes LBC.
J’utilise des alias (gmail et protonmail).
Après la création de chaque compte, je:
change d’adresse IP
vide mon cache
redémarre ma machine
Je vérifie que le compte est bien créé en envoyant un message via la messagerie LBC à un vendeur (pour un object que je vends moi).
Pour le moment j’ai réussi à créer 30 comptes. C’est long mais ça marchait.
Et 2 jours après il semble que mes comptes aient été désactivés (je n’ai pas pu touts les tester).
Une idée de la raison?
L’utilisation d’alias est-elle détecté par LBC / Data Dome en traitement batch?

Merci

Je te remercie pour m’avoir donné l’accès de ton API.
Les annonces de ventes immobilières LBC et collocations sont pour moi ce dont j’avais besoin pour l’aggregateur de mon Agence.
Je recommande.

1 « J'aime »

Merci pour ce retour @Toures !