SOS Scraping BDD sur site web avec Power BI

Bonjour à tous,

Je suis profane dans tout ce qui est développement, scraping avec du code… et utilisation de POWER BI etc …
Pour les besoins du développement de mon entreprise, j’ai besoin de récupérer la base de données mise en ligne avec Power BI qui se trouvent sur ce site :
https://www.ordre-infirmiers.fr/la-p…C3%A7ants.html (Elle peut mettre quelque temps à s’afficher)
Auriez vous une idée de comment faire svp ?

Merci par avance de votre aide

Bonne journée

Hi

Je suppose que le fichier en opendata est moins intéressant que celui ci (vu qu’il n’y a pas les mails et les tel disons presque perso ^^')?
https://esante.gouv.fr/offres-services/annuaire-sante/acceder-aux-donnees

Pour ce type de « tableau public » sous power bi, il y a une astuce toute simple pour cop/col les données quand on est un noob.
C’est très long mais abordable, il suffit de sélectionner une ligne de démarrage et faire Shift key ⇧ + Down Arrow ↓ ensuite copier les données sélectionnées avec le menu click right dans un sheet. Et le faire par « block » d’une centaine au fur et à mesure (donc utile de filtrer au préalable). Sur cette base avec cette méthode faut prévoir quand même quelques longues heure :slight_smile:

Après le pattern est automatisable (clavier, souris, et navigateur) mais cela demande pour le coup un peu d’outillage et d’xp… et la c’est beaucoup plus rapide!
voila ce que j’obtiens avec ma stack actuelle sans forcer essai infirmier - Google Spreadsheets

La dernière step c’est derécupérer des petits bouts de code à droite à gauche… mais faut lowcoder ou coder un peu.

Un bon prestataire peut plier cela asap aussi.

Sinon s’appuyer sur d’autres terreaux de data chez scrap.io ou pharow.com ou societeinfo.com

Bonne chance

Hello @incubateur_BdM

Déjà merci beaucoup pour votre réponse et avoir pris le temps de regarder et m’aider.

Effectivement celui de esante est moins intéressant.

J’ai déjà un outil qui m’a permis sur un autre site de scraper la bdd des infirmiers libéraux de France. Mais cette BDD sur laquelle vous avez fait un essai, bien meilleur que le mien, ne concerne que les infirmiers remplaçants. En gros il n’y a que chez eux qu’on la trouve.

J’avais trouvé la méthode de le faire par block de 100 mais c’était tellement long… par contre je veux bien la méthode que vous avez utilisé pour le faire en automatique … Je suis profane mais je peux apprendre vite.

Les solutions de webscrapping je les ai utilisé mais ça n’a pas l’air de fonctionner avec le Power BI du site… et en toute honnêteté les prestas sérieux qui vont pas demander une fortune j’en connais pas :slight_smile:

Est ce que je pourrai abuser de votre gentillesse et vous demander comment je peux automatiser la technique que vous proposez ?

Merci beaucoup

Re,

Au préalable, je suis sur mac os.

J’utilise une seconde machine en stand alone pour exécuter notamment des copy / paste excessifs avec :
Automator → Guide dʼutilisation d’Automator pour Mac - Assistance Apple (FR)
Applescript → Automatiser des tâches à l’aide d’AppleScript et de Terminal sur Mac - Assistance Apple (FR)
Web browser → Chrome → Automa Automa - Chrome Web Store
Ensuite je die / retry jusque cela passe …

Voila pour les ingrédients, difficile de donner plus sachant que mon essai portait plusieurs contraintes car je devais relancer plusieurs fois le script et je dois le tweaker pour l’adapter à cet annuaire. Mais comme je le disais avec un peu patience et ces outils c’est faisable

Bonne continuation

1 « J'aime »

Bonjour

Merci beaucoup pour votre réponse.
Et toutes ces informations
Je ne suis pas sur Mac mais j’ai compris le principe que vous avez décrit, je vais tenter
Merci encore
Bonne continuation