Scraping annuaire agences immobilières

Bonjour,
Le plus simple est de créer un script qui scanne le site et génère les données au format CSV.
Avec des outils comme Scrapy, c’est l’affaire d’une 1/2 journée de développement pour un freelance qui maîtrise (le framework Scrapy p.ex). Et tu auras exactement ce que tu veux, au format qui t’arrange.
Ce n’est pas gratuit, mais je pense que le coût d’une prestation comme celle-ci est compensée par tout le temps que tu perds à essayer de t’en sortir par toi-même, et qui te détourne de ton coeur de business.
Cordialement,
Hervé

Hello RV,

En réalité, le plus simple dépend vraiment de tes propres compétences, j’imagine qu’il n’existe pas à ce jour de « best solution ».

J’aurais tendance à partager ton idée, mais je prêcherais pour ma paroisse étant moi-même freelance et ingé dev avant tout.

Toutefois on ne peut pas nier qu’il existe certaines solutions clés en main qui peuvent -parfois- (j’insiste sur le parfois) très bien faire le job, sans dépenser ni déléguer cette tâche.

C’est la raison même de ce forum, proposer des solutions alternatives qui permettent aux non-techniques de s’en sortir eux-mêmes, surtout si le budget est serré. Enfin, évidemment que si la boite a des moyens et qu’elle préfère déléguer, là nous pouvons intervenir pour la presta :slight_smile:

1 « J'aime »

Merci pour vos messages,

Je ne sais hélas pas créer de script, la formule IMPORTXML sous Sheet me convient parfaitement et bien que laborieuse j’ai l’agréable sensation du « Do it yourself » auquel s’ajoute un budget nul pour cette solution alternative.

Sauf que depuis aujourd’hui cela ne fonctionne plus du tout alors que cela fonctionnait bien hier :
Les cases en loading se chargeaient progressivement une par une mais depuis tout à l’heure, tout reste totalement bloqué en 'loading" " Erreur Chargement des données…"

Je devrais peut être apprendre le script sous scrappy finalement :roll_eyes: à moins qu’un simple reboot / changement d’IP / VPN ne fasse l’affaire ?

Parfois, en supprimant le contenu de la cellule et en recopiant la formule, cela repart.
Mais de manière générale, quand il y en a trop cela rate.
Une fois scrappé, le mieux est de copier/coller en format texte dans une autre feuille pour alléger les appels.

1 « J'aime »

Complètement d’accord :sweat_smile::+1:

MAJ :

Reboot + changement d’IP + Changement de compte Google et c’est repartit ! Leur serveur à peut être blacklisté mon ancienne IP ou compte Google suite à la première offensive du Scrap massif :innocent:

Maintenant j’y vais progressivement, 100 par 100 sur une seule feuille que j’exporte ensuite dans un fichier excel pour alléger le SHEET et cela semble fonctionner (pour le moment) !

N’ayant pas encore trouvé la bonne stratégie de mass cold e-mailing je ne suis plus pressé pour le scrap de toutes ces données :roll_eyes:

1 « J'aime »

Hello, sur l’onglet 8, ligne 10. J’ai tenté de reproduite les 2 premières lignes. Mais j’ai un loading qui tourne en boucle.
Je cherche à avoir le Maine t Loire.
Si tu peux m’aider à résoudre mon pb, merci d’avance :slight_smile:

J’ai fais un petit essais avec Octoparse, et c’est assez simple et ça fonctionne! Pour ceux qui ne veulent pas coder, je pense que ça peut valoir le coup de tenter.

Hello @Rudy, Merci pour toutes ces infos ! Je suis sur le sujet en ce moment, et je pense que tu peux me faire gagner énormément de temps.

Peut-on se contacter ? [email protected]

MAJ : J’ai trop malheureusement trop attendu pour le Scrap des agences immobilières, l’annuaire immostreet a en effet été retiré peu après.

Si jamais quelq’un à eu le temps de collecter tout les données, merci de me faire en signe en PV !

Si quelqu’un à une BDD propre ou une autre solution pour scrapper toutes les agences immo de France, me faire signe en PV :slight_smile:

J’ai scrapé au moment de ce post, le 22 juin, toutes les pages de cet annuaire (en fait, aspiré les pages)
y’a plus qu’à scraper gentiment en local …
Contacte moi pour en parler si tu veux

2 « J'aime »

Bonjour mds_z

Super nouvelle, merci pour ton retour !

Mon objectif est de réunir toutes les données dans un fichier CSV pour effectuer une campagne mail.

C’est encore plus cool si tu as toutes les données en local !

Tu es spécialisé dans le Scrapping ?

Bonjour,
cela m’intéresse grandement de pouvoir récupérer ses adresses mails. Est-il possible d’échanger en off ? Merci d’avance

Hello @mds_z !
Est-ce que tu as toujours ce doc ?
Merci

Je ne pense pas que ça soit de l’envoi gratuit messieurs, mais davantage d’une prestation vu le temps nécessaire à la réalisation d’un tel travail :slight_smile:

@gde sinon il existe une alternative, effectuer un scraping de l’annuaire de seloger, et enrichir les données via l’email trouvé sur les sites web de chaque agence immo: https://www.seloger.com/annuaire/

Hello, contactez moi en PV pour les personnes intéressées par le fichier :wink:

2 « J'aime »

Hello Rudy, cela pourrait m’intéresser pour une enquête auprès des agences !
@Rudy

Hello Rudy, ce fichier m’intéresse vu que StreetImmo n’est plus consultable ! @Rudy

1 « J'aime »

Hello @Rudy je serais intéressé par le fichier ! Merci

Ca demande un temps fou d’enrichir les données via l’email trouvé sur les sites web de chaque agence immo. Comment on peut faire ça sans trop perdre de temps ?