Outils de Scraping ?

Bonjour à tous !

J’utilise actuellement l’outil Web Content Extractor, et j’aimerai benchmarker ce que vous utilisez pour l’extraction de donnée ?

1 « J'aime »

#[EDIT 2017 : Voir toolbox, et catégorie : scraping.]

Bonjour!

Pour les non-développeurs tu as :

Pour les développeurs :

Si tu souhaites apprendre à développer toi même tes scripts, je te conseille de faire un tour sur cette discussion : Growth hacker, codeur ?

7 « J'aime »

PHP encore et toujours. Pour de l’extraction en ligne, ca reste le plus facile à adapter à tout. Je n’extrais que rarement des PDF (plutôt des catalogues produits)

1 « J'aime »

J’ai mis en place quelques web passer et après avoir benchmarké plusieurs solutions mon choix c’est arrêté sur Scrapy en Python. Bien documenté et efficace, il m’a permis de mettre en place un parsing des modules de drupal.org en version 7 de façon à récupérer toutes les versions/bug/issues/mainteneur des modules et d’en extraire tous les modules Drupal Commerce qui tourne toute les nuits

Merci pour les autres liens :slight_smile:

2 « J'aime »

Je ne m’attendais pas à autant de réponses ! Merci beaucoup je vais potasser tout ça :wink:

Rien de tel que développer soi-même, mais si non-dev et/ou besoin ponctuel, le soft to have c’est : http://scraper.rddz-tools.fr made in France et de loin le plus souple et user-friendly …

1 « J'aime »

Bonjour,

J’ai testé plusieurs langages/bibliothèques et finalement j’ai choisi python/urllib2 et beautifulsoup, c’est simple, rapide et efficace. python-goose pourrait être un complément aux derniers bibliothèques .

@eon01, j’avais testé Beautifulsoup pour faire un parser et au final j’ai utilisé Scrapy qui était plus performant en temps de traitement.

@juliendubreuil Je dirais que pour créer un bot crawler, Scrapy est la meilleure solution (j’avais aussi développé mon bot avec), tandis que pour écrire un script qui ne fait que du scraping/parsing, BeautifulSoup est plus facile. Scrapy est tout un framework. Finalement, tout dépend du contexte et des résultats attendus, scrapy et BeautifulSoup sont tous les deux efficaces et bien documentés.

1 « J'aime »

@eon01 effectivement je te rejoins sur ce point, pour quelques pages ça fait bien le boulot ! Tu as raison, comme bien souvent l’outil dépend du contexte.

+1 pour import.io

1 « J'aime »

Sinon, pour de l’email il y a Salesloft et ProspectAce. Le plus fiable pour l’email via LinkedIn et Google.

Bonjour à tous,

J’ai une problématique avec le scrapping d’un site : les données qui m’intéressent sont appelées, par le site, côté client en ajax. Donc quand je souhaite récupérer les données côtés serveurs, elles ne sont pas présentent dans le code.

Connaissez-vous des solutions ?

Hello,

Question de néophyte : Pourriez-vous m’expliquer concrètement ce qu’est le scraping et me donner quelques scénarios d’utilisation ?
D’avance merci :wink:

1 « J'aime »

Exemple:
tu veux récolter sur des sites web tous les mail sur les pages
donc tu lance ton script sur une liste de sites et il te récolte les mail dans une liste.

Pour extraire ponctuellement des données d’une page, l’extension « Scraper » sur Chrome est parfaite pour une page simple. Pour un site complet, iMacros est top.

Pour inclure les données dynamiquement dans un tableau pour analyser des données, rien de mieux que Google spreadsheet & importxml (j’ai écrit un tuto la dessus)

Pour inclure des données dans une application, Kimono ou Import.io sont les références.

4 « J'aime »

Bonjour,

J’ai identifié un forum dans lequel des internautes que je cible sont présents : 3w.dentalespace(dot)com/dentiste/forum (remplacer (dot) par . :))
Qui pourrait me conseiller et m’aider à scrapper ce site pour récolter les emails des membres ?
Avant de poser cette question j’ai testé différents outils recommandés dans ce fil, mais n’étant pas très « tech » j’ai pas franchement réussi à atteindre mon objectif :slight_smile:

D’avance merci pour votre aide.

Bonjour @mazoyerc,

Tu peux scraper uniquement ce que tu vois. En l’occurrence, les emails ne sont pas publics sur ce forum.

1 « J'aime »

Merci Camille. Je m’en doutais un peu mais bon :slight_smile:
Sinon est-ce que je peux récolter toutes les adresses postales (visibles cette fois-ci) de ce site : http://www.ordre-chirurgiens-dentistes.fr/grand-public/votre-praticien-en-un-clic.html?id=264&tx_oncdpraticien_pi1[nom]=&tx_oncdpraticien_pi1[prenom]=&tx_oncdpraticien_pi1[rue]=&tx_oncdpraticien_pi1[ville]=&tx_oncdpraticien_pi1[cp]=&tx_oncdpraticien_pi1[departement]=0&tx_oncdpraticien_pi1[sexe]=0&tx_oncdpraticien_pi1[recherche]=rechercher

Dans ton cas, ca doit se faire en 2 étapes.

1. Extraire les liens vers les pages de détails
Utilises import.io (ou kimono), ils gérent la pagination et te permettront d’extraire l’ensemble des liens.

2. Extraire les adresses postales sur chaques pages de détails
Une seconde API import.io sur laquelle tu vas mettre en entrée la liste extraite en étape 1 et qui va extraire les adresses postales.

Ce sera le plus simple à mon avis: tu n’as besoin d’aucunes compétences techniques pour utiliser cet outils (contrairement à iMacros, qui pourrait aussi faire l’affaire)

3 « J'aime »