Scraping Pôle-Emploi


#1

Bonjour à tous,

Je scrape depuis pas mal de temps avec l’extension Chrome “Web Scraper” et comme toujours, dès qu’il y a un site qui fonctionne avec du javascript ou avec une interface un peu complexe, impossible de scraper…

Voici des screens de la page en question et voici mon code, juste après :


{"_id":"pole-emploi","startUrl":["https://entreprise.pole-emploi.fr/recherche-profil/rechercheprofil?idOffre=082WGKY"],"selectors":[{"id":"element","type":"SelectorElement","parentSelectors":["next","debut"],"selector":"div.profil-hd-content div.media","multiple":false,"delay":0},{"id":"num","type":"SelectorText","parentSelectors":["element"],"selector":"dd:nth-of-type(1)","multiple":false,"regex":"","delay":0},{"id":"titre","type":"SelectorText","parentSelectors":["element"],"selector":"span.text-entreprise","multiple":false,"regex":"","delay":0},{"id":"email","type":"SelectorText","parentSelectors":["element"],"selector":"a.text-link","multiple":false,"regex":"","delay":0},{"id":"next","type":"SelectorLink","parentSelectors":["next","debut"],"selector":"#zoneAfficherDetailProfil > div.modal-header > div:nth-child(2) > div > div > button.btn.btn-default.btn-nav","multiple":true,"delay":0},{"id":"debut","type":"SelectorLink","parentSelectors":["_root"],"selector":"#liMiniCv8106265204 > div > div.media-body > h2 > button","multiple":false,"delay":0}]}

Si quelqu’un comprend comment je pourrais changer le code pour arriver à scraper cette page je lui en serais très reconnaissant !

Merci d’avance


#2

Bonjour Nico,

Au regard de ce que tu as donné comme info, je dirais que nous n’en avons pas assez pour comprendre quel est le problème rencontré.

Pour pouvoir t’aider, il faudrait que tu puisses:

  • Décrire avec précision le résultat que tu cherches à atteindre, quelles sont la liste des champs à extraire
  • Expliquer quel est le problème que tu rencontres: quels résultats tu obtiens au final, à la place de quel résultats attendus.

Et aussi, est-ce que tu écris bien tes sélecteurs CSS par toi même, à la main, ou est ce que tu laisses l’outil le faire lui même?


#3

Bonjour ScrapingExpert,

Merci pour ta réponse.

Le résultat que je cherche à atteindre : un fichier excel avec le numéro de téléphone des candidats correspondants à mon offre, leur e-mail et leur description. (Jusque là rien de plus classique je pense.)

Le problème que je rencontre : Lorsque je lance le scrape, il s’arrête dès la première étape puisque Web Scraper est conçu pour ouvrir des links ou des pop-up mais pas du javascript.

Par rapport aux selectors, tout est bon. Quand je peux les sélectionner avec l’outil je le fais, et quand je ne peux pas je le prends à la main en inspectant l’élément.

Bon dimanche, en espérant que l’on puisse trouver une solution.


#4

Là je ne te suis pas du tout, sur le point “ouvrir du JavaScript” ?


Team : CamilleBriceJulienVivianBorisXavierSteven.