Apprendre a scrapper

Bonjour,

Je cherche un auto ou une personne souhaitant m’apprendre à scrapper ?
merci

import.io, l’outil fait (presque) ce que tu veux.
pour du scrapping pur, (c-a-d sans outils), cela reviendrai à apprendre un langage de programmation (php,ruby,python,c,…), et cela te prendrai beaucoup plus de temps

Oui, et tu peux faire un tour dans cette catégorie : http://www.growthhacking.fr/c/extraction-scraping

Je te conseille d’apprendre à utiliser Zennoposter.Tu pourras faire tout ce qu’un growth hacker a besoin d’automatiser : scrap, créations de comptes en masse, autopost, bots divers, proxy management,captchas…Bref il est très polyvalent et très puissant.

Tu n’as pas besoin de coder pour arriver à presque tout faire avec.

Contacte moi en MP si besoin.

++

merci a tous

Karni, tu fais des formations sur zennoposter ? car ca fait un moment que je voulais me lancer… donc novice en ce qui concerne le script, je ne me vois pas venir te contacter en MP toutes les 2mn … :yum:

3niveaux

1)Import.io fait bien le job dans la plupart des cas et est très facile à utiliser
2)Imacro est plus puissant avec un petit effort d’apprentissage
3)Le must : apprend le JavaScript ( prend un cours sur openclassrooms puis entraînes toi sur codeacademy et codegaming) et tant qu’a faire jQuery (permet de simplifier le code JS) avec au préalable un cours de HTML/css ( compte une cinquantaine d’heure d’apprentissage pour le combo html/css/js ) puis utilise phantomjs et la tu peux scraper tout ce que tu veux :wink:

Le niveau 3 est un peu plus long et demande un vrai effort d’apprentissage mais déjà avec import.io et Imacro tu pourras faire pas mal de choses

1 « J'aime »

Bonjour @Romfive, oui je peux te former sur Zenno. Il faut compter environ 3h pour la prise en main de base du tool.
Contacte moi en MP si tu es intéressé.

Je ne suis pas adepte des tools ou tu passes 1 H à faire un scraper pour te rendre compte à la fin que ton API ne peut pas être publiée (vécu plusieurs fois).Je crains aussi qu’un moment Import.io fasse comme Kimono et soit rachetée, puis beaucoup plus fermée.C’est embêtant de monter une stratégie sur du sable…

Pour Imacros, c’est un bon tool mais je ne vois pas l’intérêt de passer des heures à apprendre un langage de script pour faire moins bien que Zenno notamment sur le multithreading .Je note aussi que la version « intéressante » est à 1000 $ ce qui n’est pas neutre et beaucoup + cher que Zenno.

tiens je ne connaissais pas Zenno. Merci pour cette découverte. Faut comme quoi comme base de compétence pour l’utiliser ?

Bonjour @Curation2web ,

Pas de prérequis spécifique.Tu iras plus vite si tu as un background dev mais ça n’est pas indispensable.
Si tu es créatif et motivé tu pourras faire tout ce que tu veux avec.

Pour ceux qui veulent découvrir la bête, la version démo permet déjà de s’amuser (cette version ne gère pas captchas/proxies/multithread) : http://zennolab.com/en/products/zennoposter/

L’apprentissage d’Imacros est très rapide, pas besoin d’apprendre tout le language vu qu’il reprend simplement les actions que tu effectues sur ton navigateur. Tu n’as juste qu’à modifier le script de manière intuitive.
Enfin la version gratuite d’Imacros fait largement le job, pas besoin de passer sur la version payante

Chez Cozy, on va faire des ateliers pour apprendre aux gens à faire des connecteurs en Javascript pour notre plateforme. Il y a une grosse partie scrapping durant ces ateliers. Est-ce que ça peut t’intéresser ? Ca se passera sur Paris.

Exemple : GitHub - cozy-labs/konnectors: This project is deprecated and is replaced by collect : https://github.com/cozy/cozy-collect and connectors : https://github.com/cozy/cozy-konnector-libs/blob/master/konnectors.md to use with cozy V3
Le thread sur l’atelier : https://forum.cozy.io/t/atelier-pour-realiser-son-propre-connecteur-konnectors/2237/9

Il y a pas mal de tools qui sont déjà dispo pour scrapper, et dans la plupart des cas ça sert à rien de réinventer la roue en créant son propre bot. Je pense notamment à GSA Email Spider, AnnuCapt, Import.io ou encore Data Miner pour chrome.

Sinon, j’utilise Winautomation de mon côté pour créer les bots, c’est relativement lent mais ça fait vraiment tout. J’ai jamais testé ZennoPoster, c’est quoi les avantages par rapport à WA ?

Winautomation est un peu plus cher que Zenno. Qu’est ce qui justifie cette différence ?

J’ai jamais testé Zenno donc je peux pas te dire (c’est pour ça que j’ai posé la question).

Je sais juste qu’avec WinAutomation on peut vraiment TOUT automatiser, il n’y a pas de limite. C’est assez impressionnant quand on sait manier la bête. Son seul point noir est l’absence de multithreading, ce qui le rend assez lent. Je crois que Zenno gère ça ?

WinAutomation, ça dépanne pour des taches spécifiques en revanche pas de multithreading et gestion des proxies pas top.

Du coup sur des gros projets, de mon point de vue l’absence de multithreading est rédhibitoire.

En en parle ici : http://scripts-seo.com/topic-5236-interraction-zenno-winautomation-page-1.html

1 « J'aime »

nouveau venu dans le scrapping, je découvre cet outil : https://www.datascraping.co/