Scrap Website avec "Load more"

Scraping
1

Hello à tous !

Je cherche à extraire de la donnée d’un site web avec un bouton « Load more » en bas de page.

J’ai essayé plusieurs tools mais sans résultats soit parce que l’outil ne le permet pas soit parce qu’il faut upgrade, à savoir :

  • Google web scraper (pas trouvé de fonctionnalité qui répond à mon besoin).
  • Instant data scraper (présente uniquement la fonctionnalité de page suivante ou scroll à l’infini ce qui ne répond pas à mon besoin).
  • Data miner (besoin de upgrade).
  • Octoparse (besoin de upgrade).

Donc si vous avez déjà testé des solutions qui permettent de répondre à ce use case je vous remercie d’avance.

À bientôt !

2

Avec zennoposter en mode browser + regex ou parse data tu devrais t’en sortir facilement (page down en émulation de keyword si c’est pour scroll ou tout simplement clic sur bouton selon le site)

2 « J'aime »
3

Hello Wildjack,

Merci pour ton retour. Je ne connais pas du tout ces deux tools. Je vais investiguer ça.
Bonne journée !

4

hello, n’hésite pas si tu as besoin d’un coup de main. Zennoposter est top pour automatiser en mode browser / simulation de vrai utilisateur

5

Bonjour Geoffrey,

Si vous vous êtes trompé ? je suis sûr que pour scraper les sites avec Load more, la version gratuite de octoparse est suffisante. Les versions payantes proposent plus de fonctions que la version gratuite comme extraction cloud, plus rapide, etc.

6

je vous trouve un tutoriel en anglais Dealing with pagination (with a "Load More" button) | Octoparse Help Center

7

Hello !
Merci bcp pour ton aide mais j’ai effectivement consulté cette doc.
On est limité à 10 tasks en free (j’ai également essayé de simplifié au max le workflow mais je reste toujours au-dessus du quota :frowning:)

8

De rien !
Oui, c’est le cas…
La version gratuite limite le nombre de tâches…
Il y a une introduction du plan gratuit Tarifs - Formule Octoparse web scraping - Solutions tarifaires différentes pour répondre à toutes les exigences en web scraping. | Octoparse

image
image1920×937 138 KB

Vous ne pouvez que supprimer une des tâches avant d’ouvrir un nouveau

9

Merci mais j’ai trouvé une solution un peu tricky mais qui a marché tout de même !

10

Hello @GeoffreyLILM, tu peux faire ça sur webscraper.io avec un element click selector :slight_smile:

11

Ce sujet a été automatiquement fermé après 365 jours. Aucune réponse n’est permise dorénavant.