Coup de pouces

[nestaflex]

Hello la team,

Je fais un petit test actuellement sur le site labonneboite.fr. Je test le scrap sur une catégorie, j’arrive bien a scraper tout ce qui apparait sur la page, en revanche, ils ont mis un petit bouton pour avoir plus d’infos qui ouvre une partie sous le bloc d’origine. J’arrive à ouvrir ce bloc, en revanche, les datas ne sont pas scrapées. J’ai surement raté une étape mais impossible de trouver laquelle !

{"_id":"bonneboite2","startUrl":["https://labonneboite.pole-emploi.fr/entreprises?j=Conduite+de+transport+en+commun+sur+route&l=normandie&naf=&h=1&d=3000&sort=smart&ij=&occupation=conduite-de-transport-en-commun-sur-route&lat=47.594395&lon=6.998036&departments="],"selectors":[{"id":"item","parentSelectors":["pagination"],"type":"SelectorElement","selector":"div.lbb-bright-container:nth-of-type(n+3)","multiple":true,"delay":0},{"id":"name","parentSelectors":["item"],"type":"SelectorText","selector":"h3 span:nth-of-type(1)","multiple":false,"delay":0,"regex":""},{"id":"city","parentSelectors":["item"],"type":"SelectorText","selector":"span.small","multiple":false,"delay":0,"regex":""},{"id":"segment","parentSelectors":["item"],"type":"SelectorText","selector":"h4.company-naf-text","multiple":false,"delay":0,"regex":""},{"id":"effectif","parentSelectors":["item"],"type":"SelectorText","selector":"div.grid-col-8:nth-of-type(1) p","multiple":false,"delay":0,"regex":""},{"id":"potentiel","parentSelectors":["item"],"type":"SelectorText","selector":"span.rating-value","multiple":false,"delay":0,"regex":""},{"id":"more","parentSelectors":["item"],"type":"SelectorElementClick","clickElementSelector":"a.js-result-toggle-details","clickElementUniquenessType":"uniqueText","clickType":"clickOnce","delay":500,"discardInitialElements":"do-not-discard","multiple":true,"selector":"a.js-result-toggle-details"},{"id":"phone","parentSelectors":["more"],"type":"SelectorText","selector":"p:nth-of-type(2) a","multiple":false,"delay":0,"regex":""},{"id":"adresse","parentSelectors":["more"],"type":"SelectorText","selector":"p.easy-copy-paste","multiple":false,"delay":0,"regex":""},{"id":"website","parentSelectors":["more"],"type":"SelectorText","selector":"a.gtm-company-detail-website","multiple":false,"delay":0,"regex":""},{"id":"siret","parentSelectors":["more"],"type":"SelectorText","selector":"li.small","multiple":false,"delay":0,"regex":""},{"id":"mode_contact","parentSelectors":["more"],"type":"SelectorText","selector":"div.grid-col-4:nth-of-type(2) p:nth-of-type(2)","multiple":false,"delay":0,"regex":""},{"id":"pagination","parentSelectors":["_root","pagination"],"paginationType":"auto","selector":"a.page-link","type":"SelectorPagination"}]}

[TitanX]

Je ne sais pas quel outils vous utilisez mais vous n’avez pas besoin de cliquer sur le bouton car les données sont déjà présentes dans le HTML. Vous pouvez ouvrir la console de développement de votre navigateur et faire « clique-droit > inspecter ». Ensuite vous pouvez copier/coller les sélecteurs CSS ou xpath pour récupérer le numéro de téléphone ou le site web par exemple.

C’est assez trivial à faire en Python. Avec les outils « no-code » j’en sais rien, je n’utilise pas ces bloatwares.

[ClementAubry]

Les « bloatwares » sont très efficaces en fonction du type de site @TitanX

Pourquoi s’embêter avec du python quand ça peut être scrapé en 10 clics ?

J’avais tendance à toujours utiliser python également, mais je me force à aller au plus efficace maintenant Instantdatascraper + Dataminer au top!

[TitanX]

C’est peut être plus efficace mais ça reste des bloatwares