Scraper un annuaire expert comptable

Bonjour,

Je cherche a scraper un annuaire, mais je n’arrive à trouver de solution satisfaisante

L’annuaire
https://www.experts-comptables.fr/annuaire/

Avec seulement ces 2 options cochées

  • Expert-comptable
  • Salarié AGC 83T/83Q
    ça permet d’avoir les experts comptables avec leurs sociétés

Décocher ces 3 options

  • Société d’expertise comptable
  • Société pluriprofessionnelle d’exercice
  • Association de Gestion et de Comptabilité
    qui permet d’avoir la liste des sociétés qui vient en doublon avec la liste précédente

Si vous avez des conseils ou pistes pour y arriver je suis preneur
Merci d’avance :+1:

Salut

Mais tu veux scrapper quelles données ?

Merci, j’y suis arrivé :blush:

quand j’utilise cette url dans le code source y-a toutes les données
https://www.experts-comptables.fr/annuaire/recherche?page=1&nomRaisonSociale=&villeCodePostal=&departement=&qualite[]=010%2C020&qualite[]=83T%2C83Q
j’accède aux données avec xpath
il suffit de faire une boucle qui incrémente le numéro de page pour avoir la suite des données

c’est souvent facile quand on a trouvé comment :wink:

A Quel problème technique êtes vous confronté exactement ?

Avec puppeteer cela passe comme dans du beurre.

Déjà tout scrappé si tu veux j’ai toutes les datas si tu veux MP moi !

3 « J'aime »

Merci à tous pour vos réponses
Mais comme je l’ai dis dans mon précédent message j’ai tout scrappé
Restera à faire l’enrichissement, pour le moment y-a pas d’urgence

1 « J'aime »

Bonjour Laurent, quels outils as-tu utilisé pour scrapper ? J’allais proposer https://www.clay.com/. Avec leur extension, tu peux scrapper la liste + enrichir en même temps dans un tableau.

Bonjour je n’ai pas utilisé d’outil particulier, j’ai fait avec du code en utilisant des requêtes XPATH
une fois que j’avais l’url qui me retournait les données c’était très facile

1 « J'aime »

Hello Alex,
J’avoue que je suis très intéressé ! :-)…
B.

Yo Alex, carrément intéressé aussi :slight_smile:

Salut Alex, je suis intéressé aussi. Contacte-moi sur LinkedIn : Jules CADUSSEAU. Merci :slight_smile:

J’y ai réussi en utilisant des outils de web scraping !

1 « J'aime »

Helloooo
Est-ce que tu es prêt à partager? :roll_eyes::roll_eyes:

j’utilise des outils de web scraping. Pour moi, c’est « Octoparse ». Et il existe effectivement un grand nombre de choix. Justement allez choisir un outil qui convient le mieux à vos besoins.

cet article compare cinq outils popualires : Octoparse, Parsehub, Dexi.io, Mozenda, Import.io. Voilà une capture d’écran. Espérons que ce la vous aide.

Hello !

Je vous ai fait le scrapping ici (au format CSV + JSON):

J’ai utilisé PHP avec Curl et des Regex, le script est en accès libre si vous voulez jeter un coup d’oeil:

À noter que leur site n’est pas du tout sécurisé, et qu’il serait très simple de coder un script qui soumet tous les formulaires de contact pour envoyer des messages.

Mais je ne ferai pas ça en public :grin:

1 « J'aime »

Bonjour Alex, si ta proposition est toujours valable je serai aussi intéressé ! Merci d’avance
Erwan

Bonjour, je suis aussi intéressé par la base de données :slight_smile:

intéressé, mais le lien wetransfer ne fonctionne plus ! merciiii :slight_smile:

Ici: https://file.io/AgsavSNR96nD

Miroir:
JSON: https://drive.google.com/file/d/1FGcfJ-p_g8oj4axr2gt6N1eHtQWskp8S/view?usp=sharing
CSV: https://drive.google.com/file/d/104Fb_XLzf28U24PwL_RDl3sRLB--mqh8/view?usp=sharing

Par ici: https://file.io/AgsavSNR96nD

Miroir:
JSON: https://drive.google.com/file/d/1FGcfJ-p_g8oj4axr2gt6N1eHtQWskp8S/view?usp=sharing
CSV: https://drive.google.com/file/d/104Fb_XLzf28U24PwL_RDl3sRLB--mqh8/view?usp=sharing