Perso, je préfère développer mes propres outils pour du scrapping (nodejs, js, php, python, …).
- Analyser les pages en question
- Evaluer le niveau de sécurité
- Identifier les données et leur format (dans le html, en json, …)
- Développer le script par itération
- Admirer le résultat
Quelques résultats: récup d’articles sur des sites de vente, récup d’évènements, récup des informations pages jaunes, simulation navigation google et récupération de données, simulation de navigation Linkedin et auto-engagement, …
Rien ne vaut un outil développé avec ses petites mains.
Il s’agit là de préférences personnelles, mais d’un point de vue entrepreneur, si un tool comme WebScraper ou Dataminer fait le job en 15min, là où on mettrait 1 ou 2 heures à faire le script, je mise largement, et favorablement sur la 1ère option : )
Notre travail en tant qu’ingénieur, et non « dev », c’est de savoir trouver la solution la plus adaptée à une problématique donnée. Et pour cela, au delà des contraintes techniques, il faut aussi analyser les facteurs coûts et temps.
Bien que longtemps partisan du « rien ne vaut un outil développé avec ses petites mains », je mettrais maintenant de l’eau dans mon vin.
En résumé: Rien ne vaut l’outil le mieux adapté à une situation donnée 
5 « J'aime »