Scraping annonce leboncoin php

Scraping
1

Bonjour,
je recherche comment faire pour faire un scraping via php pour les annonces sur leboncoin, j’ai regarder pas mal de code mais aucun ne fonction car leboncoin bloque (erreur 400)
je souhaites juste pouvoir récupérer les dernières annonces via une page de recherche
exemple : https://www.leboncoin.fr/recherche/?text=moto&locations=r_21

Avez vous des astuces, code site à me recommander ?
Merci à vous

2

hello
quelques pistes

exemple si leur html n’a pas changé depuis …

<?php

  $html = file_get_html($urltocrawl);

      foreach ($html->find('li[itemtype=http://schema.org/Offer]') as $e) {

                $li = str_get_html($e->outertext);                    
          

                if ($li != null && $li != false && trim($e->outertext) != '') {

                $title = trim($li->find("h2", 0)->plaintext);
                $title = html_entity_decode($title);

                $prix = trim($li->find("h3.item_price", 0)->plaintext);
                $prix = str_replace('&nbsp;&euro;', '', $prix);
                $prix = str_replace(' ', '', $prix);


               //Etc etc ... 

      }
}

après pour l’erreur 400 je ne sais pas … ils ont peut être fait du chemin …
c’est un bout de code qui date un peu et que je n’ai pas retesté… mais ça marchait fut un temps

3

Merci pour ta réponse, j’ai pas mal regarder les discussions et tous le monde est dans le même cas, tout est bloquer sur LBC depuis septembre 2018.
je vais essayer de trouver une alternative …

4

Hélas, les bonnes vieilles méthodes pour faire de l’automatisation sur ces sites hyper protégés ne fonctionnent plus trop. Au revoir les scripts PHP, Python, etc, il faut sortir davantage l’artillerie lourde, version headless browser en général…

3 « J'aime »
5

Salut,
Peux tu m’expliquais plus en détails "l’artillerie lourde, version headless browser en général…"

6

Tu trouveras ton bonheur dans l’implémentation de bots en headess browser via certains des tutoriaux ici:

1 « J'aime »
7

Ok merci je vais voir cela.

8

Leboncoin reste malgré tout très difficile a scrapper car protégeé depuis septembre dernier par la solution Datadome.
Certains semblent avoir réussi à la contourner, mais les quelques approches que j’ai pu lire aujourd’hui rendent difficile l’industrialisation des scripts.

9

Bonjour zigou, j’ai un scraper leboncoin qui permet de scraper jusqu’à 120 000 annonces par jour selon la puissance de ton serveur ! Testé et approuvé depuis septembre dernier justement. Si tu as des questions --> MP

10

Hello zenno poster avec des proxy ou utiliser scrapy

11

hello @tomato, est ce que ton script marche toujours? J’ai l’impression que Datadome a fait une MaJ et mes solutions de contournement viennent de sauter :grimacing:

12

En ce qui me concerne, ça marche de mon coté 50 annonces par minutes et par alerte que je me suis configuré grâce à mon appli web et le tout directement dans ma boite mail :slight_smile:

51
51300×574 87.5 KB

Si des personnes sont intéressé, je pense avoir besoin de testeur d’ici peu de temps :smiley:

1 « J'aime »
13

Bonjour

Ça peut m interesser.
Si tu peux m en dire un peu plus sur l appli et ses fonctionnalités.

14

Salut
Peut tu m’indiquer comment récupérer ton bot?

15

Bonjour

J’ai un outil avec Cron pour récupérer les annonces et leurs numéros par jour sur le boncoin.

1 « J'aime »
16

@Terros tu fais ce type de bot avec num de tel aussi je crois? :slight_smile:

1 « J'aime »
17

Hello @ScrapingExpert oui en effet ça fonctionne bien pour les numéros.

Si vous voulez en savoir plus sur les specs avec plaisir pour en discuter en MP !

3 « J'aime »
18

Salut Neeko je suis grave intéressé ! ^^

19

Salut @Black-bird,

Je fais le maximum pour finir le développement de l’application, j’espère terminer celle-ci en Novembre. :smiley:

1 « J'aime »
20

Bonjour, toujours pas de solutions viable ?