Scraping annuaire avec modale

Hello la communauté,

J’aimerais scrapper un annuaire qui est structuré de manière embêtante :

  • Tableau Noms + Fonction + Région
  • Clic sur le Nom => Ouvre une popup avec Email + Tel + …

Du coup cette popup empêche d’utiliser un outil no-code pour le scrapping (impossible avec grepsr et web scrapper par exemple).

Pourtant l’info est bien dans le code :

Comment faire ?

Merci pour votre aide
Antoine

Tu peux utiliser element attribute selector sur webscrapper

Merci Boris, mais je n’ai pas réussi. Peut-être que je fais mal qlq chose mais mes tests me renvoient toujours une valeur NULL, que ce soit sur Web Scrapper qu’avec IMPORTXML sur Ghseet :

Une idée ?

Joke…:
Peut être que si on arrêtait d’écrire « scraper » ou « scraping » , ou même « Web Scraper » avec deux « p » partout, le scraping serait moins vexé et fonctionnerait ? :slight_smile:

Vraie réponse:
Il est préférable de ne pas utiliser ni considérer Web Scraper comme un outil « no code », en réalité pour le maîtriser il faut trouver précisément:

  • où se situe la donnée que l’on souhaite extraire (est-ce le texte d’une balise, ou est-ce la valeur d’un attribut?)
  • le sélecteur (css dans le cas de Web Scraper) permettant d’identifier le chemin menant à cette data à extrare

Boris a suggérer de passer par une action de type « Element attribute », ce qui revient à extraire la valeur d’un attribut, une fois qu’on s’est bien positionné sur le bon élément HTML via son sélecteur.

En pratique, il faudra donc remplir deux champs textes, le fameux « selector », et « attribute name », comme dans l’exemple ci dessous:
image

4 « J'aime »

Si la modale est générée dynamiquement (je n’ai pas vérifié), tu la verras dans la console, mais elle n’est pas dans le code source « originel ».
Et pour scraper des pages dynamiques, Selenium reste la meilleure option :

2 « J'aime »