Question webscraper ? Comment scraper un annuaire avec scroll partiel

Hello les GH :smile:

Je souhaite scraper un annuaire dont la page d’origine peut être scrollée jusqu’à la lettre C mais je dois ensuite scroller encore pour découvrir la suite de l’annuaire.

J’utilise habituellement webscraper.io. Problème il ne me scrape que les premières lignes, jusqu’à la lettre C. :face_with_raised_eyebrow:

Auriez-vous une idée de comment faire pour scraper l’annuaire entier ?

Merci les gars !

1 « J'aime »

Salut, essai de voir si l’annuaire à une url qui change avec simplement la lettre :
exemple:

  • www.annuaire/page/lettre-A

Dans ce cas-là, tu peux faire une formule Concat dans un google sheet et venir implanter chaque lettre de l’alphabet collée à ton url de base pour générer chaque page de recherche.

Par la suite, as-tu essayé un outil comme Octoparse pour ton scraping ? Cela peut se révéler être une solution.

Est-ce que tu peux nous envoyer l’URL du site web en question?
On va regarder ça de plus près!

:grin:

Hello,

Merci @kevinclt Octoparse a super bien fait le taf et j’ai pu récupérer ce dont j’avais besoin.

@s_sh_curieux Merci pour ton retour, tout est ok :slight_smile:

2 « J'aime »