Scrapping profile d'un forum

Hello,

Je cherche à scrapper les données dans les profiles de forum de type Discourse (promis, je ne scrappe pas les membres de ce forum ;))

  • Le profil est composé de pas mal d’infos, comme : Nom/email/website/…

J’ai essayé scrapebox/gsa/… sans succès

Une idée (outil gratuit de préférence) ?

https://www.datascraping.co semble performant et facile à prendre en main.

Sinon il faut que tu passes par https://www.apifier.com
Ça va être un peu plus long mais c’est très performant

Il faudra aussi que tu trouves l’URL de démarrage, là où il y a l’ensemble des users.
Essaye /users/ après le nom de domaine.

J’ai essayé kimono,import.io et autres outils du même genre, cela marchait pas.
Mais datascraping.co fait l’affaire
Merci!

Bonsoir @Felix, je m’intéresse de près à scrapper des forums, est-ce que ton scrapping a été efficace ? quelles données as tu réussi à récupérer ? j’imagine que tu arrives à récuperer les liens vers les comptes sociaux des membres genre twitter et Facebook. As-tu réussi à récupérer des emails ? Les forums sur lesquels tu as fait du scrapping t’ont-ils bloqués etc ?
Dans mon cas, vu que je m’intéresse aux internautes qui sont présents sur les forums, quelle que soit la thématique, les internautes qui contribuent aux forums etc font partie de ma cible prioritaire :slight_smile:
merci d’avance de ton retour d’expérience

Hello,
En fat, je suis passé sur iMacros (voir ce topic) c’est vraiment top & facile à prendre en main.

Si tu as besoin d’aide, tu as les forums ou tu peux sous-traiter (upwork,fiverr…)

Pour le scraping d’emails, j’utilise l’application chrome (gratuite) : EmailDrop, ca me va pour pas mal de besoins

1 « J'aime »

Hello, sans oublier Hopwork (pour faire marcher un peu le travail local, ok c’est plus cher :smile: )

1 « J'aime »

Merci @Felix
En tant que débutant, je ne connaissais pas les outils que tu mentionnes ou du moins que de nom, je vais y jeter un oeil je te remercie.

Hello,

On a dev notre propre outil de scraping. Ca s’appelle Hurry Scrap, c’est dispo gratuitement sur le Chrome Store : https://chrome.google.com/webstore/detail/hurry-scrap/akkkdfbnncpligajlllmbhkejnligpnb.

On a essayé de rendre ça très simple, sans code ou configuration.

C’est encore une version bêta mais ça marche très bien sur certains sites ;).