Techniques de scraping pour les petites annonces

Bonjour à tous,

Ce n’est pas vraiment du growth hacking (d’ailleurs je ne suis pas growth hacker mais très intéressé par leurs techniques), mais je voudrais savoir si certains ont expérimenté des méthodes d’export et/ou d’analyses pour les petites annonces ? Je pense notamment à celles relatives a l’immobilier (achat / vente / location), auto/moto, etc… Les sources principales seraient donc LBC / SeLoger / La Centrale, et l’objectif, de faire de benchmark personnalisé en fonction des critères de recherches.

Par ailleurs, j’ai expérimenté dataminer.io sur d’autres sites avec succès, mais je doute que cela fonctionne sur LBC. Certains ont-ils essayés ?
J’ai cru comprendre qu’ils ont déployé un Datadome (Datadom?). En quoi consiste le Datadom ? Est-ce un concept développer par leur soin, ou est-ce le nom d’une technologie ?
La seule solution possible discutée ici, serait via des scripts python + JavaScript. Est-ce bien cela ? Sinon, quelles autres méthodes avez-vous expérimenté ?

Merci !

La manière la plus simple de répondre à ta question, c’est tout simplement de recherche « Datadome » sur Google, et d’aller sur leur site web datadome.co/fr/

Tu y trouveras des articles de blog, livres blancs, etc, qui te donneront plus de détails que n’importe qui ici.

Quant au fait d’automatiser l’extraction de données depuis le site qui te pose problème, en effet Dataminer ne semble pas adapté et pas en mesure de contourner de telles mesures de blocage (Datadome, Captcha, etc).

Si tu sais identifier le mécanisme de blocage, tu pourras trouver des méthodes de contournement. Toutefois, c’est illégal vis à vis de leur CGU, il est recommandé de ne pas trop se frotter à eux.

J’imagine que les méthodes expérimentées sont parfois gardées secrètes, pour diverses raisons. D’une part il s’agit d’une compétence assez rare et qui peut donc se vendre. D’autre part les équipes des sites que tu as mentionné, et les équipes de Datadome ou autres solutions de blocages viennent souvent par ici pour faire de la veille et se renseigner.

1 « J'aime »

Je m’en doutais fortement, et ça répond tout à fait à mes questions ! Merci :slight_smile:

1 « J'aime »