Hello,
J’aimerais automatiser le scaping des pages de résultats google pour des recherches « job [poste] » comme celle-ci
L’idée est d’extraire :
J’ai une piste avec data miner, mais ça me semble assez complexe d’en automatiser la récupération.
Avez vous des idées ou des app sympa ?
Thanks !
Faudrait regarder du coté des solutions en SaaS qui te proposent du Google SERP en API, afin de permettre l’automatisation de l’extraction des résultats qui t’intéressent. Ces solutions payantes ont la particularité de gérer les blocages appliqués par Google, en possédant des pools impressionnantes de proxies (IPs).
je te conseille APIFY 
Yes, je suis en train, je suis en contact avec leur équipe.
Thanks
Je te conseille LOBSTR 
Ils n’ont pas d’API dédiée, mais ils ont des prix plus intéressants
Hello @MaximeCohendet , as tu trouvé une solution pour scraper google jobs ? Si oui, peux tu la partager ?
Merci
Bonjour,
Je déterre un peu ce post.
Avez vous trouver des solutions ?
Je suis plutôt sur des soluces gratuites avec la possibilité de développer en python pour récupérer les infos (cf premier post)
Hello @Thais781,
Si tu utilises python, tu devrais pouvoir scrapper directement la data avec la lib request puis BS4 pour parser le html 
Par contre vu que c’est google, tu vas vite tomber sur des limitations → faudra mettre les cookies et sans doute passer par un proxy (payant type bright data, ou scraperapi).
En soit, si tu veux récupérer gratuitement la donnée des jobs, pas certain que Google Job soit le plus simple, Indeed est plus permissif par ex. Ou encore Pole Emploi, qui dispose même d’une API !
On a industrialiser la démarche de notre côté (mantiks.io), sur des job boards tel que Glassdoor, LinkedIn, Indeed… Avec plaisir pour en parler de vive voix si cela t’intéresse ^^
Vous voulez scraper les pages de résultats google pour des recherches « job [poste] » ? Mais les résultats comprennent tous genres de informations qui risquent de n’avoir rien avec recrutement. mais enfin, vous pouvez essayer et je vous recommende Octoparse. J’ai lu avant un article à propos des sites scrapés et Google est en première tête. Donc, Octoparse est totalement capable de répondre à votre besoin. ça c’est l’article mentionné Les top 10 sites les plus scrapés en 2022 | Octoparse
justement, vous pouvez aussi scraper les sites d’emploi. J’essaie et j’obtiens les donénes comme ces deux photos. cela convient déjà votre besoin ?
j’ai lancé une nouvelle api qui extrait les données de google jobs , vous pouvez la tester ici
