Scraping annonce leboncoin php

#1

Bonjour,
je recherche comment faire pour faire un scraping via php pour les annonces sur leboncoin, j’ai regarder pas mal de code mais aucun ne fonction car leboncoin bloque (erreur 400)
je souhaites juste pouvoir récupérer les dernières annonces via une page de recherche
exemple : https://www.leboncoin.fr/recherche/?text=moto&locations=r_21

Avez vous des astuces, code site à me recommander ?
Merci à vous

0 Likes

#2

hello
quelques pistes

exemple si leur html n’a pas changé depuis …

<?php

  $html = file_get_html($urltocrawl);

      foreach ($html->find('li[itemtype=http://schema.org/Offer]') as $e) {

                $li = str_get_html($e->outertext);                    
          

                if ($li != null && $li != false && trim($e->outertext) != '') {

                $title = trim($li->find("h2", 0)->plaintext);
                $title = html_entity_decode($title);

                $prix = trim($li->find("h3.item_price", 0)->plaintext);
                $prix = str_replace('&nbsp;&euro;', '', $prix);
                $prix = str_replace(' ', '', $prix);


               //Etc etc ... 

      }
}

après pour l’erreur 400 je ne sais pas … ils ont peut être fait du chemin …
c’est un bout de code qui date un peu et que je n’ai pas retesté… mais ça marchait fut un temps

0 Likes

#3

Merci pour ta réponse, j’ai pas mal regarder les discussions et tous le monde est dans le même cas, tout est bloquer sur LBC depuis septembre 2018.
je vais essayer de trouver une alternative …

0 Likes

#4

Hélas, les bonnes vieilles méthodes pour faire de l’automatisation sur ces sites hyper protégés ne fonctionnent plus trop. Au revoir les scripts PHP, Python, etc, il faut sortir davantage l’artillerie lourde, version headless browser en général…

1 Like

#5

Salut,
Peux tu m’expliquais plus en détails "l’artillerie lourde, version headless browser en général…"

0 Likes

#6

Tu trouveras ton bonheur dans l’implémentation de bots en headess browser via certains des tutoriaux ici:

0 Likes

#7

Ok merci je vais voir cela.

0 Likes

#8

Leboncoin reste malgré tout très difficile a scrapper car protégeé depuis septembre dernier par la solution Datadome.
Certains semblent avoir réussi à la contourner, mais les quelques approches que j’ai pu lire aujourd’hui rendent difficile l’industrialisation des scripts.

0 Likes

#9

Bonjour zigou, j’ai un scraper leboncoin qui permet de scraper jusqu’à 120 000 annonces par jour selon la puissance de ton serveur ! Testé et approuvé depuis septembre dernier justement. Si tu as des questions --> MP

0 Likes

#10

Hello zenno poster avec des proxy ou utiliser scrapy

0 Likes

Team : CamilleBriceJulienVivianBorisXavierSteven.