Link.ed in de + en plus + dur à Scrapper ?

Bonjour tous le monde,

Comme beaucoup d’entre-vous je scrappe Link.ed in.
Au cour du dernier mois, j’ai du changer 3 à 4 fois de scripts pour pouvoir continuer à exploiter la plateforme. Et uns des profils que j’utilisais à été ban. Aujourd’hui mes scripts ont de plus en plus de problèmes à scrapper correctement sans fail au bout de 15-20 pages.

Apparement ils font désormais de la vérification d’IP et d’user Agent, et si vous utilisez Imacro et autres, il faut mettre des valeurs aléatoires d’attentes entre chaque action (ralentir et ne pas avoir l’air d’un robot).

Je souhaiterais savoir si vous aviez aussi eu des problèmes récemment pour Scrapper / Crawler Link.ed in ? Et si vous aviez remarqués d’autres choses utiles pour contourner ces difficultés ?

Hello,

Ouai beaucoup plus difficile de scrapper.
J’ai mis des temps d’attente tres long mais ca ne fonctionne pas il bloque au bout de 200 pages consulté environ.
J’ai pas testé le User-agent en revanche.

Le mieux est de passer par l’API quand c’est possible.

Personnellement, j’utilise cet outil qui est très performant : https://salestools.io/

Oui normal mais c’est pareil partout. Moi pour scrapper les pages jaunes, mon dev doit modifier son script 1 à 2 fois par mois…

Ludovic - MarketingHack

Salut Quable, quelle est la différence avec Datananas ? Sales tools récupère aussi les mails des contacts dont on est pas connecté ?

Linkedin a l’air de particulièrement pas m’aimer.

J’ai des Captcha toutes les 15 pages. Ce qui bloque mes scripts, j’ai essayé de débloquer en tentant d’utiliser des OCR… mais rien à faire.

je viens de regarder cet outil. intéressant
salestools extractor+connector c’est 59 $/mois pour 1800 contacts par jour
Peut-on automatiser la sélection des contacts?
Quel taux d’ouverture de message ou de conversion peut -on avoir dans linkedin?

Utilise le service deathbycaptcha.com, ça marche bien et c’est pas très cher.

1 J'aime

Oui merci pour ton retour d’expérience. on peut toujours déléguer le travail aussi par défaut

J’avais trouvé une autre solution mais elle était hasardeuse.

Merci !

ça a l’air cool SalesTools et le pricing est plutôt abordable.

Petit question : avec le package à 49$/mois la plateforme permet de lister 500 profils/jour, soit 500 nom/prenom/entreprise / jour.

Ensuite de ça on déduit les mail avec les combinaisons ( scriptables ) nom.prenom@entreprise.fr etc … c’est ça ?

Si c’est ça en gros pour 49$ on peut extraire 31x500 ( 15K+ ) mails de LinkedIn c’est pas trop cher.

Merci!

Pour répondre au sujet : oui, LinkedIn se défend remarquablement bien et de mieux en mieux. Ceux qui savent coder doivent donc réfléchir à une stratégie qui serait « indétectable », sous peine de refaire le travail tous les 15 jours.

Salut,

En fait cela veut dire que tu peux scraper 500 profils Linkedin par jour pour les importer directement dans la plateforme ou alors les extraire au format CSV ou dans Google Spreadsheet.

Tout se fait via un petit plugin intégré au navigateur et c’est vraiment très simple d’utilisation et redoutablement efficace (Jamais eu un souci en quelques mois). Tu peux scraper une liste de personnes présente dans un groupe Linkedin, un résultat de recherche, les prospects enregistrés si tu as sales navigator etc etc… Ou faire du 1 by 1.En fait tu peux TOUT scraper.

Pour ta question pour les emails, pour le plan à 49$/mois, l’outil va te vérifier 100 emails par mois par rapport aux prospects que tu auras enregistré sur la plateforme (tu peux désactiver l’auto finder et le faire comme tu le souhaites, notamment si tu veux juste deviner le pattern et faire de même pour tous les prospects de la même boite).

C’est un outil vraiment intéressant, depuis la création de ce topic ils ont considérablement amélioré la plateforme, la maintenant c’est que du bonheur. Dans les prochaines semaines, l’outil pourra faire de même pour Viadéo, Facebook et Twitter, crunchbase.com et enfin angel.co (uniquement Xing et Linkedin pour le moment).

J’espère avoir répondu à tes questions

Bonjour,

Pour être indétectable il faudrait que les scripts passent par le réseau TOR avec des IP nouvelles régulières et un UA très commun, à jour, ET changeant régulièrement (tous les 100 profils)…
Sinon il faut utiliser un vers à répandre sur un réseau de pc zombie… Mais là on passe directement du côté obscur.

Oui merci @Quable_Pim ça répond super bien à mes questions ! Finalement j’ai opté pour LinkedInMarketerPro et il répond plutôt bien à mon besoin.

Cela étant que ce soit ça ou SalesTools, en fait ces outils grab un email s’il est écrit en clair dans le profil donc bon on ne peut pas tout scraper mais je ne m’attendais pas à mieux :wink:

Petit review de LinkedInMarketerPro : Soft qui fait le boulot, à savoir sortir des centaines d’email à la minute sur des mots clefs assez larges…

LinkedInMarketerPro trouvera un mail renseigné pour 5-10% max des profils .
Les mails scrappés correspondent la plupart du temps au mail d’inscription sur linkedin qui n’est la plupart du temps pas relié au mail pro du contact.

très aléatoire donc, mais on peut très facilement se servir du soft sans débourser.

Hello,

Vis à vis de Link.ed in, changer constamment son IP et son UA peut sembler être une bonne méthode, mais elle est fortement déconseillée si on cherche à scraper des profils, logué avec son compte utilisateur.

Je m’explique: Un peu comme le fait Facebook, quand on va se connecter depuis un nouvel emplacement (autre IP, autre User-agent), Link.ed in va estimer qu’il s’agit d’une activité suspicieuse/frauduleuse, et demander à l’utilisateur de confirmer son identité, via par exemple l’envoi d’un code sur son téléphone portable.

Mais au fait, pourquoi scraper Link.ed in avec son propre compte, et non pas en mode « déconnecté »?
Il y a plusieurs avantages à cela, d’une part vous êtes un utilisateur réel, votre compte est fiable, et vous ne risquez pas de vous faire bannir aussi rapidement que si il s’agissait d’un compte factice créé il y a deux jours, qui lui est quasiment vide en terme d’informations et de contenu.

D’autre part, cela permet de prendre un Premium, et pour ma part j’ai remarqué qu’en Premium je n’avais jamais été bloqué, du coup je n’ai plus du tout les mêmes contraintes qu’avec un compte factice.

Concernant la limite des 500 par jour, je l’ai au niveau de mes recherches. Même en Premium, si on dépasse 500 et quelques recherches, on est restreint pendant 24H (la recherche se limite aux membres faisant parti de notre réseau proche ou secondaire).

Pour résumer, je pense qu’en automatisant ses actions sur Link.ed in, en se faisant passer pour une vrai personne, en évitant d’utiliser des outils qui ne se comportent pas forcément comme de vrais navigateurs, les chances d’éviter ces fameuses limites seront meilleures.

Est-ce que certains d’entre vous continuent de scrapper linkedin? Nous sommes aussi sur ce cas et on se casse parfois les dents.

Ca serait pas intéressant de se mettre à plusieurs devs et à scrapper autour d’une plateforme commune qui serait plus facilement mise à jour? Chacun a des intérêts à le scrapper et on est pas forcément en concurrence : vous dites quoi de la propale?

Pour ma part, je dirais que ce qu’il nous manque, c’est uniquement plusieurs comptes premium (login + password), avec une IP différente pour chaque compte. A partir de là, on serait en mesure d’augmenter fortement les limites des recherches imposées par Linkedin, sans se faire bloquer.

C’est un truc qui peut se mutualiser
Ca te dit qu’on essaye d’en discuter ? (En pm?)