scraping open street map - camping

Hello
J’ai suivi un peu ce topic : Scraping Open Street Map

mais j’aimerai continuer la reflexion.

Alors j’essaye de scrapper les camping en france

J’utilise : Nominatim Demo

donc la query camping en france

Mais il me ressort juste quelques noms et pas la liste complete

Que faire pour que ca fonctionne ?

Merci

1 « J'aime »

Bonjour,

J’ai suivi le topic aussi.

et j’ai essayé d’utiliser Octoparse pour le scraper(Mais je l’utilise habituellement pour scraper Google map, c’est la première fois que je fais openstreetmap.) et je peux avoir une liste de camping et obtenir le contenu dans l’image ci-dessous et les exporter vers un file Excel.

Si ce sont les données dont vous avez besoin, vous pouvez essayer. ou vous pouvez aussi consulter les outils recommandés sur le page [toolbox] (La toolbox du growth hacker 💎)
openstreetmap

oui je veux bien si tu as la liste de tous les campings de france :wink: ca serait sympa ! merci

Hello,

Tu as également une API ouverte qui permet de récupérer les données au format JSON : Search - Nominatim 3.7.2

Par contre les résultats sont par défaut limités à 10 (max. 50).

Ce que tu peux faire, c’est :

  • Faire un premier appel à l’API pour récupérer les 50 premiers résultats
  • Faire X autres appels où tu exclus les résultats précédents de ta requête exclude_place_ids
  • Lorsque le résultat renvoyé est vide, ça signifie que tu as finis ta récupération
1 « J'aime »

Salut
Merci du partage @MehdiZ

J’obtiens cela : https://nominatim.openstreetmap.org/?addressdetails=1&q=camping+in+france&format=json

Mais ca retourne pas grand chose, possible d’avoir tous les campings en france ? Avec un site web c’est mieux !

La piste que j’ai proposé se base sur l’API donc il faut savoir coder un peu pour automatiser la récupération.
En me basant sur la requête API que tu as partagée :

1 « J'aime »

Bonjour,
Je pense que ce sujet peut intéresser pas mal de GH non développeurs (comme moi). Alors si vous avez une astuce ou un conseil, je pense que plusieurs d’entre nous seront intéressés.

Les données OSM sont ouvertes. Pour les récupérer, il faut quand même un minimum de technique. Perso, je ne suis pas fan de scrapping sur du Open Street Maps alors que c’est de la donnée libre et ouverte gratuitement.

Maintenant les options de récupération :

Overpass reste (un peu) technique et il faut creuser la documentation notamment pour préciser les champs à récupérer. Il y a un Wizard qui permet de faciliter le process.

Prenons l’exemple des campings en France avec le wizard, on saisit : tourism=camp_site in France

Ensuite on précise le format de sortie. Pour l’exemple, j’ai mis des infos sur la position géo, le contact (mail, téléphone, adresse). Il y a plusieurs options possible.

Ensuite on lance et on attend… Pour les campings France, ça a pris 3 minutes, le navigateur a chouiné un peu, mais résultat des courses : 130 000 Points of Interest récupérés (il doit y avoir du déchet dans le tas…).

Le fichier CSV est dispo pour ceux qui veulent

3 « J'aime »

Et ben *** de bordel de **** de **** : MERCI !
haha
Aurais tu un copié collé de ton script ?
Sur l’image pas simple de tout retranscrire !
Merci !!!

et du coup oui si tu peux me DM le CSV :wink: mais je suis trop interessé a apprendre a scripter dans cet outil !

Le script :point_down:

/*
This has been generated by the overpass-turbo wizard.
The original search was:
“tourism=camp_site in France”
*/
[out:csv(::"id", ::lat, ::lon, name, operator, opening_hours, "contact:website", "contact:phone", "contact:email", brand, dispensing, lastcheck;
true;";")];
// fetch area “France” to search in
{{geocodeArea:France}}->.searchArea;
// gather results
(
  // query part for: “tourism=camp_site”
  node["tourism"="camp_site"](area.searchArea);
  way["tourism"="camp_site"](area.searchArea);
  relation["tourism"="camp_site"](area.searchArea);
);
// print results
out body;
>;
out skel qt;
1 « J'aime »

Hello,

Merci @MehdiZ pour ces explications + pour le code associé.
Si le csv est toujours disponible je suis intéressé de mon côté.
Encore merci et bonne journée.

Bonjour MehdiZ,
Svp je suis bien intéressée par le fichier csv.

Hello, par harsard aurais tu toujours le csv ?

Sur drive. Envoie moi ton adresse mail en PM pour que je te le partage

hello peux tu me lenvoyer aussi ?

Sur data.gouv.fr tu as la possibilité de télécharger un fichier SIREN ou SIRET avec toutes les sociétés à jour, il te suffit de le télécharger, de filtrer avec le bon code NAF, et tu devrais avoir ce que tu recherches :wink:
…au pire si il n’y a pas de numéro, tu complète cela avec un scrap d’un annuaire

Bonjour,

Je dois avouer que je serais bien intéressé par ce fichier aussi si jamais :slight_smile:

@MehdiZ hello ca fonctionne bien. mais aucun mail de recup.

comment fais tu pour recup des emails a partir des lat/long ? google my business ?

si oui comment le faire de facon automatisée ?

jai des fichiers entiers de coordonnées

merci

sur google my business (gmaps) tu va récupérer les sites web, ensuite plusieurs solutions, soit chercher des emails sur les sites, soit utiliser des outils « nom de domaine » → « email »