Scraping TripAdvisor - Code / Sans code?

Galette · Novembre 8, 2018, 4:21

Wowowow génial @cebri ! Ca m’intéresse énormément!
MP envoyé

Incroyable la tournure qu’a pris ce post !

Galette · Novembre 8, 2018, 4:24

Yes ton JSON fonctionne très bien pour moi pour TripAdvisor, merci @ScrapingExpert!
En revanche j’ai essayé de le faire aussi sur un autre site pour tester. Ca scrape bien la 1ère page (c’est un bon début!) mais ça ne clique pas sur la pagination, je ne comprends pas pourquoi. Je crois avoir pourtant bien paramétré le clic. Mon Selector Graph est comme ça :

Donc je dois avoir un truc mal paramétré au niveau de la pagination mais j’ai testé plein de trucs et je suis bloqué pour l’instant. Peut-être que le sélecteur de la pagination est aussi autre part dans la page ? (mais je crois pas, je n’ai pas trouvé de classe « pagination » ailleurs). Si tu es chaud pour jeter un œil et me donner une piste de solution ce serait hyper cool ! Mon JSON exporté :

{"_id":"test","startUrl":["https://lefooding.com/fr/restaurants?filters%5Bgeo%5D%5Bdepartment%5D%5B%5D=526ba0997f55b7f39a00005e&page=1&sort="],"selectors":[{"id":"item","type":"SelectorElement","parentSelectors":["item"],"selector":"li.results-item","multiple":true,"delay":0},{"id":"paris","type":"SelectorLink","parentSelectors":["_root"],"selector":"article.restaurants li:nth-of-type(2) a","multiple":false,"delay":0},{"id":"items","type":"SelectorElementClick","parentSelectors":["paris","paginationlinks"],"selector":"li.results-item","multiple":true,"delay":"20","clickElementSelector":"nav.pagination ul","clickType":"clickOnce","discardInitialElements":false,"clickElementUniquenessType":"uniqueText"},{"id":"title","type":"SelectorText","parentSelectors":["items"],"selector":"h1.result-title a","multiple":false,"regex":"","delay":0},{"id":"adress","type":"SelectorText","parentSelectors":["items"],"selector":"li.street-name","multiple":false,"regex":"","delay":0},{"id":"city","type":"SelectorText","parentSelectors":["items"],"selector":"li.city","multiple":false,"regex":"","delay":0},{"id":"phone","type":"SelectorText","parentSelectors":["items"],"selector":"li.phone","multiple":false,"regex":"","delay":0},{"id":"category","type":"SelectorText","parentSelectors":["items"],"selector":"div.envies span:nth-of-type(1)","multiple":false,"regex":"","delay":0},{"id":"price","type":"SelectorText","parentSelectors":["items"],"selector":"div.result-info.price span","multiple":false,"regex":"","delay":0},{"id":"paginationlinks","type":"SelectorLink","parentSelectors":["paris","paginationlinks"],"selector":"nav.pagination ul","multiple":true,"delay":0}]}

ScrapingExpert · Novembre 8, 2018, 4:36

Ce sélecteur CSS n’est pas le bon, il faudrait plutôt mettre ‹ nav.pagination li.next ›.

Par ailleurs, le paramètre ‹ clickElementUniquenessType › n’est pas bon non plus, mais il n’y a rien qu’on puisse faire ici car l’unicité du bouton page suivante ne peut pas être défini: ni son texte, si sa structure HTML ne changent, ils sont toujours les mêmes.

De plus ici le contenu est chargé via AJAX, ce n’est pas une pagination qui permet de changer de page, du coup je mettrais le click type à « Click more » et non pas « Click once »

cebri · Novembre 8, 2018, 4:38

Franchement…lancer un défi à une bande de geek, sur un site avec de piètres défenses, un grand nombre de pages, et des emails & téléphones. Fallait s’y attendre

Galette · Novembre 8, 2018, 5:19

Au top, ça a fonctionné ! En appliquant tes conseils, j’ai changé le JSON au niveau de « nav.pagination li.next » et « Click more », je l’ai ré-importé et BIM. Thanks!!!

SashaLobstr · Novembre 14, 2018, 6:26

Hello les potes,

Je me permets de mettre la pierre à l’édifice, pour la partie « Code » pure

J’ai fait un petit script en Python, qui utilise les librairies Request pour le Crawling, et lxml (l’allemand, cela dit en passant) pour le Parsing.

Pour aller chercher les mails, j’utilise le regex sur les pages dédiées : *\w+@\w+.\w+
Petit exemple juste là: https://regex101.com/r/mxxapg/1

Ici le code : https://gist.github.com/Lobstrio/0729d2fe50e9ea4d38946a79a7db445a

Curieux d’avoir vos retours

MaximeSegrelove · Novembre 22, 2018, 7:13

Hello Galette ! Pour info, voici un sitemap pour les restaurants de Lafourchette à Paris pour Webscrapper, ca peut peut-être te servir sait-on jamais

{"_id":"lafourchette","startUrl":["https://www.lafourchette.com/restaurant+paris"],"selectors":[{"id":"items","type":"SelectorElement","parentSelectors":["_root","pagination"],"selector":"li.resultItem","multiple":true,"delay":0},{"id":"name","type":"SelectorText","parentSelectors":["items"],"selector":"h3.resultItem-name a","multiple":false,"regex":"","delay":0},{"id":"adress","type":"SelectorText","parentSelectors":["items"],"selector":"div.resultItem-address","multiple":false,"regex":"","delay":0},{"id":"origin","type":"SelectorText","parentSelectors":["items"],"selector":"span.restaurantTag","multiple":false,"regex":"","delay":0},{"id":"price","type":"SelectorText","parentSelectors":["items"],"selector":"div.resultItem-averagePrice","multiple":false,"regex":"","delay":0},{"id":"pagination","type":"SelectorLink","parentSelectors":["_root","pagination"],"selector":"div.pagination li:nth-of-type(n+3) a","multiple":true,"delay":0}]}

Argaiv · Janvier 20, 2019, 5:19

Salut merci pour le tuto , tout fonctionne nickel pour moi sur trip , mais j’ai pas la Colonne Href du screen 10 étrange !

MqzakpoOk · Janvier 31, 2019, 9:42

Salut les GH,

Voilà maintenant 6 mois que je galère avec TripAdvisor sur un listing d’expérience,
Je pense que Trip a mis une protection supplémentaire sur les Emails pour éviter les scrapers …

Je Scrap avec Webscraper.io, j’ai éditer un sujet qui détail avec précision mon sitemap et mon problème (Rédigé en Anglais).

Merci d’avance pour votre aide : Le bouton Email appel le système de messagerie par défaut (chez moi Gmail) sur la même page. L’adresse Mail est contenu dans l’URL de cette page mais je n’arrive pas à l’extraire, Des solutions ?

Et voici le Sitemap de « barbar » :

ScrapingExpert · Janvier 31, 2019, 9:55

Hello,

Tu ne pourras rien faire avec l’extension Webscraper à ce niveau, c’est trop limité techniquement parlant.

L’adresse email est encodée via Javascript, par conséquent si tu veux l’obtenir il te faut passer par une autre technique que Webscraper, et savoir coder un minimum.

MqzakpoOk · Janvier 31, 2019, 10:17

Hello,

Merci infiniment pour ce retour !
ça m’évitera des maux de tête

Quel outil pas trop compliqué en terme d’utilisation peux me permettre de décoder ce Javascript (sans trop pousser au niveau du code mais sinon je peux aussi demander de l’aide à mon dev …)

Merci d’avance !

ScrapingExpert · Janvier 31, 2019, 10:28

Je ne saurais pas répondre à la question « pas trop compliqué en terme d’utilisation », ni « trop poussé au niveau code », ne sachant pas comment tu évalues ce niveau.

Dans tous les cas il te faudra récupérer un des attributs de la balise HTML contenant l’email, avec Webscraper, puis faire tourner un script qui va traiter le CSV résultat, script qui va lire le fichier ligne par ligne et décoder l’email.

Tu peux utiliser n’importe quel langage pour ça, JavaScript par exemple.

Camille · Janvier 31, 2019, 10:38

scrapebox.

embargo · Avril 11, 2019, 8:06

Bonjour Galette,

As tu trouvé une solution pour extraire des milliers d’URL plus rapidement ? J’en ai un beau paquet également et le rythme d’acquisition est … déprimant!!

HimSelf · Avril 15, 2019, 10:52

Salut à tous, je suis nouveau sur votre forum, et déjà il m’ouvre de belles perspectives !
Est-il possible de faire pareil pour récupérer une liste des hotels pour des départements définis ?
Genre, tous les hôtels 3/4/5 étoiles dans le 84 ? Et si les infos sont dispos : adresse, numéro de téléphone, site web, adresse e-mail de contact ?

embargo · Avril 15, 2019, 10:58

J’imagine que la méthode est exactement la même à partir du moment où tu as la liste des URL qui va bien.

easyit · Avril 27, 2019, 7:54

Salut @ScrapingExpert
Je viens de faire une tentative pour cette page là.

Tout fonctionne sauf bien sauf que je n’ai pas de résultat.

Je suppose qu’il faut mettre à jour le JSON avec les éléments du DOM ?

Je vais essayer de me pencher sur ce cas.

Merci en tout cas du partage.

ScrapingExpert · Avril 28, 2019, 4:30

Possible, je n’ai pas eu l’occasion de revoir ça depuis. Et d’un autre coté, je n’ai pas assez d’éléments de ta part pour en tirer une conclusion.

Dans tous les cas, n’hésites pas à nous faire part de tes trouvailles

AssarafY · Juin 11, 2019, 11:14

Perso j’obtiens que 3 résultats lors du scrapping et ce sont les 3 url de base entrées (https://www.tripadvisor.fr/Restaurants-g187147-Paris_Ile_de_France.html)

ScrapingExpert · Juin 11, 2019, 11:15

Je viens de re-tester cette config du scénario Tripadvisor pour Webscraper, de mon coté tout est ok, on récupère bien l’intégralité des liens des pages restaurants pour la ville de Paris (le processus est long, mais ça fonctionne).

A titre d’exemple, en modifiant l’URL de départ en prenant celle d’une autre ville, j’obtiens ceci en résultats: