Scrapping LINKEDIN avec Python sur une VM (Cloud)

Bonjour à tous,

Dans le cadre d’un projet, je souhaiterais collecter des informations de profil de users Linkedin (âge, description des postes actuels et passés, compétences , …) afin d’en faire des études statistiques.
Les users sont identifiés au fil de l’eau ( ~20 par jours) et collectés via un site web.

Le code est pour l’instant en local (compte avatar) et utilise python avec les librairies Selenium & BeautifulSoup.

J’aurais 2 questions:

  • Comment faire pour migrer le code sur le cloud payant ( AWS , GCP,…) sans me faire détecter ( IP fixe ? )
  • Y a il une possibilité d’éviter d’activer le captcha ? ou à défaut comment le valider à distance sans accès à la VM?

Merci par avance pour vos retours.
Bonne journée à vous :smiley:

1 « J'aime »

Scraper LinkedIn avec Selenium c’est du suicide

Bonjour Etal,
Tu recommandes quel outil stp?

Vu la quantité que tu as à traiter utilise Phantombuster ou équivalent

Merci,
Et du coup pas de soucis pour interfacer phantombuster avec python et un cloud provider?