Scraper email carte interactive

Merci @ScrapingExpert ça je l’ai vu oui mais c’est pour la façon de faire des requêtes en message que je suis complètement débutant et n’ai pour l’instant aucune idée de comment faire! Je vais me renseigner et je me pencherai dessus (car je suis passé à d’autres sites plus faciles à scraper ahah)

Bonjour, merci pour le tuto, j’ai réussi à scraper plusieurs cartes avec la méthode !

Néanmoins, je bloque sur ce site https://www.drhouse-immo.com/trouver-un-conseiller

J’ai l’impression que la requête qui permet d’avoir les infos est celle-là :
https://www.google-analytics.com/j/collect?v=1&_v=j87&a=146551095&t=pageview&_s=1&dl=https%3A%2F%2Fwww.drhouse-immo.com%2Ftrouver-un-conseiller&ul=fr-fr&de=UTF-8&dt=Trouver%20un%20conseiller%20-%20DR%20HOUSE%20IMMO&sd=30-bit&sr=1440x900&vp=1439x254&je=0&_u=AACAAAABAAAAAC~&jid=&gjid=&cid=547410432.1605290530&tid=UA-89101986-25&_gid=501536416.1605624345&_slc=1&z=1274756747

ou plutôt cette partie :
https://www.drhouse-immo.com/trouver-un-conseiller&ul=fr-fr&de=UTF-8&dt=Trouver%20un%20conseiller%20-%20DR%20HOUSE%20IMMO&sd=30-bit&sr=1440x900&vp=1439x254&je=0&_u=AACAAAABAAAAAC~&jid=&gjid=&cid=547410432.1605290530&tid=UA-89101986-25&_gid=501536416.1605624345&_slc=1&z=1274756747

Mais je n’arrive pas à avoir le JSON.

Où est-ce que je passe à côté de quelque chose ?

Merci d’avance pour vos réponses :slight_smile:

Ca dépend des sites, dans ton cas ils sont dans le code source :

2 « J'aime »

Effectivement ! Merci beaucoup pour le coup de main.

J’ai refait l’extract pour être sûr de savoir faire la prochaine fois.
Pour ceux qui se posent la question, en faisant « afficher le code source », on a accès à l’info :

On peut tout simplement copier-coller les lignes dans gg sheet :

Puis on le retravaille (déboulonnage, scinder les colonnes, substitute, …) :

et voilà :slight_smile:

2 « J'aime »

Salut,
je suis en train de suivre les instructions décrites pour pouvoir extraire les coordonnées des polygones (format geojson) sur le site https://appli.mern.gouv.qc.ca/Infolot/CarteInteractive/Bureau?g=a5b6d78c-02fb-4943-901d-ef2b16ee4b94
pour produire après des shapefiles, mais le problèmes c’est que je n’arrive à extraire que les coordonnées pour un seul polygones tandis que j ai besoin de plusieurs polygones voici la requête https://appli.mern.gouv.qc.ca/arcgis_webadaptor_prodc/rest/services/PRODC-E/INFOLOT_ANONYME/MapServer/14/query?f=json&where=&returnGeometry=true&spatialRel=esriSpatialRelIntersects&geometry={"x"%3A-8092248.960751208%2C"y"%3A5854804.033548836%2C"spatialReference"%3A{"wkid"%3A102100}}&geometryType=esriGeometryPoint&inSR=102100&outFields=NO_INTER_LOT%2CCO_ECHEL_REPRS&outSR=102100
Pouvez vous svp expliquez avec des Screenshot la methode pour en faire une donnée accessible via une API

Bonjour,

Je me permets de revenir sur ce sujet.

J’ai pris le temps de lire les différents messages et d’essayer de trouver une solution à mon problème sans succès (manque d’expérience dans le domaine).

Quelqu’un pourrait m’expliquer comment procéder pour récupérer les données de cette carte s’il vous plaît ?

J’ai essayé de regarder les différents éléments du site, mais il est difficile de trouver sans savoir ce que l’on cherche.

Je vous remercie pour votre aide.

ICI ?

Merci, serait-il possible d’avoir une explication sur la méthodologie ?

Ça semble plutôt simple, et pourtant…

J’ai regardé dans le « network » du navigateur quels sont les éléments chargés avec la page et ceux qui le sont quand on dézoome la carte.
Un joli json sortait du lot :wink:

Bonjour bonjour, @ScrapingExpert
Je viens de tomber sur votre discussion et j’essaye de maîtriser le scrapping depuis cette carte : Carte des initiatives citoyennes | Énergie Partagée
Apparemment je dois pas posséder les mêmes yeux pour suivre le tuto… où même les compétences pour le faire (je crois plutôt que c’est ça)
Si il reste du monde dans le coin quelqu’un pourrait m’expliquer la démarche ? Si elle existe
Merci beaucoup ,

Hello hello,
Je vois que ce topic date d’il y a plus de trois ans, il est fort probable que le site ait évolué depuis et que le procédé mentionné ne fonctionne plus (je n’ai pas réessayé pour confirmer ça).

1 « J'aime »

Bonjour, dans ton cas les données sont ici : https://energie-partagee.org/wp-content/uploads/map/map-projets.json
reste à les retravailler

@DJousto Salut, et un grand merci ça m’a mis du temps retrouver le chemin mais je les ai retravaillées et c’est top,
Je vais m’entraîner un peu sur d’autres cartes pour bien cerner la démarche !
Bonne journée

Hello Hello,

Canon tous ces tips. Je suis encore bien débutant sur le sujet et j’ai eu beau m’arracher les cheveux depuis 1 semaines à essayer de suivre vos tutos impossible d’arriver à mes fins. Quelqu’un pourrait me filer un petit coup de main avec cette carte ?

https://www.laclefverte.org/recherche/?

Merciiiiiii :slight_smile:

Tu n’as pas besoin de passer par la carte, tu as belle liste avec une pagination.

Quand tu cliques sur un établissement l’url est : www. laclefverte . org / etablissement / 16648

Donc : https://www.laclefverte.org/etablissement/ + {ID de l’établissement}

Tu utilises octoparse ou l’extension webscraper ça fais le taff

1 « J'aime »

Toutes les données sont dans le code de la page :


Tu peux les récupérer ici.

1 « J'aime »