Hello !
Je recherche un outil gratuit pour crawler une centaine de sites web, et scraper les emails (au moins jusqu’au 2ème niveau de profondeur du site).
Quelqu’un aurait-il la solution miracle ?
Merci !
Salut !
Solutions Miracle nan , par contre tu peux utiliser kimono labs .
Sa te permettra de créer plusieurs API que tu construira sur les site web que tu cible et de pouvoir faire du crawl automatique, comme sa ta base est tout le temps à jour .
Jette un oeil ici : https://www.kimonolabs.com/
2 « J'aime »
tu peut mixer du avec Xenu (pour trouver lister les pages ou y’a des email ) avec des scrapper email web ou soft (genre Webdata Extractor et autre).
tu peut jouer avec Kimono labs (soir t’utilise des liste d’url, soit tu génère une liste avec kimono (api) et résultats que tu réinjecte dans un autre Project Kimono
si tu as un background dev, scrappy est excellent …
2 « J'aime »
ben pour 47 dollard y’a Scrapebox qui le fait bien.
Je partage l’avis de @Nicolas_Laustriat pour scrapebox. Tu as plein de tutos vidéo officiels sur YouTube pour t’aider.
Après un solution home Made consiste utiliser un aspirateur de site pour « pomper » toutes les pages qui t’intéressent dans un premier temps (sur Mac: il y a site sucker pour 5$ sur le store ; sur PC: tu as HTTTRACK)
Enfin il y a un super utilitaire qui s’appelle MAXPROG (19$) qui permet de récupérer les adresses mais dans n’importe quel type de fichiers.
En combinant les deux tu peux crawler scraper comme un goret. Attention à l’aspect légal, tu n’es pas propriétaire des données pour autant et leur usage est a priori proscrit.
Proxies et/ou VPN conseillés.
Zennoposter est fait pour ça 
1 « J'aime »