Récupérer les informations sur une map corporate

Scraping
1

Hello la communauté,

Je cherche à scraper les informations (nom prénom, statut, coordonnées GPS) des pins de la map du site de Younique (URL : [https://www.youniqueproducts.com/business/presentermap](https://www.youniqueproducts.com/business/presentermap)). Est-ce que l’un ou l’une d’entre vous aurait un quick win ou un moyen de le faire ?

Merci !

2

Hello,

Comme dans toute tâche de scraping, la première chose à faire est d’analyser le comportement du site via l’inspecteur chrome, onglet reseau.

Lorsqu’on rentre une ville / code postal dans le champ de recherche, une requête POST est faite sur cette URL (avec en paramètre la ville / code postal) :

POST https://app.younique.io/search/api/geo_search

Cette requête renvoit un JSON avec toute les personnes:

{code: 200,…}
code
:
200
result
:
[{distance: 0.06696692200833544, id: "1578269", lat: "44.8346888", lng: "-0.586549",…},…]
0
:
{distance: 0.06696692200833544, id: "1578269", lat: "44.8346888", lng: "-0.586549",…}
1
:
{distance: 0.1086021050354744, id: "1525338", lat: "44.8342688", lng: "-0.588169",…}
2
:
{distance: 0.12775859289074729, id: "1365206", lat: "44.8340388", lng: "-0.586399",…}
3
:
{distance: 2.4316407760365144, id: "1311206", lat: "44.8251611", lng: "-0.5597187",…}
4
:
{distance: 2.992680216253976, id: "1615260", lat: "44.8531632", lng: "-0.6153194",…}
5
:
{distance: 3.0750068083147086, id: "1272450", lat: "44.8535232", lng: "-0.6162694",…}

Tu peux voir que dans ce JSON, il y a des id.
Ces ID sont utilisé pour avoir le détail d’une personne, c’est cette route qui est appelée:

https://www.youniqueproducts.com/api/presenter/getMapProfile/ID_ICI

Et ça te revoit toute les données pour une personne bien:

{
	code: 200,
	result: {
	    presenter_name: "Allison Guillot",
	    presenter_number: "881725",
	    presenter_image: "https://graph.facebook.com/v2.9/928803450600246/picture?type=large",
	    location: "Cenon, ",
	    website: "/AllisonGuillot",
	    presenter_first_name: "Allison"
	}
}

Donc ensuite il suffit de faire un petit script en Python / whatever pour automatiser tout ça !

Bon, sinon ce site à l’air d’être un bon PONZI / MLM bien crado comme on les aime !

1 « J'aime »
3

Merci ! Effectivement c’est un business un peu « particulier », mais une bonne façon de me faire une petite database de personnes qui aiment la cosmétique haha !