Scrapper infos sur page déroulante

Bonjour à tous,

je cherche à scrapper les données d’un site avec une page déroulante
tous les logiciels que j’ai essayé ne scrappe que le début ou au pire 2/3 défilements de page après configuration

problème il y a une nombre de pages énorme à scrapper et je n’ai pas beaucoup de connaissance

Je voudrais scrapper les adresses(coordonnées gps) plus le nom et si possible la photo (voir screen)

Cela est-il possible vu la grandeur de la page ?
Merci d’avance pour vos réponses

Tu as un lien pour qu’on puisse t’aider.

En theorie, le plus simple c’est de passer par l’api

1 « J'aime »

Oui bien sur, merci :slight_smile:

Ah c’est pinterest, C’est une page sans fin.

Pour l’api, je crois que c’est l’URL en dessous, elle a l’air d’être paginée.

J’ai pas regardé en détails. Mais dans l’URL dans data, tu as un json encodé pour tenir dans l’url.
Et dans ce json tu as un paramètre page_size. (ici à 15).

Si tu sais dev tu peux chopper la donnée assez facilement.

Tu peux essayer aussi avec un navigateur Headless, mais tu dois attendre la fin du chargement à chaque fois, c’est possible, mais fastidieux.

Si tu veux que je m’en occupe, je peux te faire une petite prestation.

En tout cas la clé, c’est cette URL.

Si tu as outil no code qui peut gérer par contre, je suis intéressé, je suis plutôt un dev, mais je n’ai pas toujours envie de coder pour ce genre de truc

https://fr.pinterest.com/resource/BoardFeedResource/get/?source_url=%2Fpatrimoine43%2Fabandoned-urbex-locations%2F&data=%7B%22options%22%3A%7B%22add_vase%22%3Atrue%2C%22board_id%22%3A%22590675376066826582%22%2C%22field_set_key%22%3A%22react_grid_pin%22%2C%22filter_section_pins%22%3Afalse%2C%22is_react%22%3Atrue%2C%22prepend%22%3Afalse%2C%22page_size%22%3A15%2C%22bookmarks%22%3A%5B%22Y2JURlEwTVU5VVFUSk9lbFY2VFVSak1FMUVZekpPYW1kNVRucG9PRTVFU1hkbVJFVXhUMVJOZWsxRVVYcE5lazAwVDBSRk0wOUVVWEZTTVVaTlMyNTNlazVFVm10YVJGazFXVEpPYTAxVVdtaFpiVXBxVDBkRk5FNHlVbXRPZW14c1RqSlJOVTVFV21sTlJHUnFUbXBWTkU1Nlp6Tk5lbFpwV21wSk5FMVVTbWxOVjBwcVRVUm5lVTFYV1ROTmFrVjVXa2RHYldaRk5VWldNM2M5fFVIbzVUMkl5Tld4bVJFVXhUMVJOZWsxRVVYcE5lazAwVDBSRk0wOUVVWEZTTVVaTlMyNTNNbHBFU1RCUFYwWnFUbFJzYWs5RVFUUlBWMDE2VDBSQ2JFNXFaR3haZWtWNFRXcFZNMWxYU1hoT1JGRjNUVlJWZVZsVVkzaE5WR3QzV1cxYWFsa3lTVEZOVjFFd1RqSlZORTlIUlhkT2FrRjVUMFJqTVdaRk5VWldNM2M5fE5vbmV8MTU5MzMwNDMzMzg4MTc4NCpHUUwqfGFlYzhmYjI3NGJhMDBmNTVhMWM3MTlhN2FmY2M5ZDE1NmExOGEwYTAwY2E4MmU0Mzc1NmZiMDNjNGZhNjU5MDJ8TkVXfA%3D%3D%22%5D%2C%22board_feed_ranking_group%22%3A%22%22%7D%2C%22context%22%3A%7B%7D%7D&_=1732213398188

1 « J'aime »

Merci beaucoup pour tes infos et le temps passé :+1:

Je ne sais pas dev malheureusement, mais je vais fouiller un peu avec tes infos

ca me donne une ligne à suivre merci :slight_smile:

Comme outils j’ai testé les plus connu trouvés ici, si je trouve un truc intéressant je t’en ferais part.

Merci encore :slight_smile:

je suis désolé le forum rend l’url invalide à chaque fois que je souhaite la partager.

Pour la retrouver, va sur ta page, fait click droit => inspecter => onglet réseau / network.

Sur ta page, tu scroll un peu et dans le panneau réseau, tu devrais ensuite trouver un lien qui commence par ça

https://fr.pinterest.com/resource/BoardFeedResource/get/?source_url=%2Fpatrimoine43%2Fabandoned-urbex-locations%2F&data=

1 « J'aime »

je pense que je l’ai trouvé, j’en fais quoi ? désolé

Tu peux la copier et l’ouvrir dans le navigateur déjà, ensuite, il faut que tu arrives à changer la page_size, pour changer de page je dirais

1 « J'aime »

Le fameux 15 ? et du coup je mets combien s’il te plaît ?

C’est bon je l’ai trouvé

Je pense que je me suis trompé, c’est pas la page size, la pagination.
Par contre aucune idée pour le parametre qui change la page en cours

1 « J'aime »

Pas grave, je vais chercher à partir de tes infos :slight_smile:

Merci en tout cas pour le temps passé

Pas de soucis

1 « J'aime »

Autre méthode :

  1. tu scrolls à la main pendant un bon moment pour avoir un grand nombre de lieux affichés.
  2. tu récupères le code HTML correspondant (outils de développement de ton navigateur)
  3. tu traites ce code pour extraire les infos voulues
2 « J'aime »

Salut,
j’ai essayé mais je n’arrive pas à tout avoir et ca me fruste je me dis que je rate peut être LE lieux :slight_smile:
Merci en tout cas je vais réessayer :smiley:

Tu sais combien il y en a ?
J’en ai extrait plus de 4000, mais à priori il y en a encore…

J’en ai trouvé 5680. Fichier téléchargeable ici : https://easyupload.io/nlwlkx

3 « J'aime »

Non je ne sais pas du tout combien, LaGruge en a trouver 5680 je ne sais pas si c’est le maximum mais j’ai de quoi faire déja :smiley:
Merci pour ton aide :slight_smile:

Merci beaucoup, c’est super j’ai de quoi faire :smiley:
merci encore mille fois!

Grosso merdo je pourrais savoir comment tu as fait s’il te plaît ?

C’est le max :wink:
Après il y en a surement quelques uns qui sont rajoutés de temps en temps…

1 « J'aime »

Parfait du coup, merci