je découvre PhantomBuster que je trouve très bien et pas si compliqué que cela à utiliser.
J’en ai besoin pour scraper des informations sur des sociétés et des profils de personnes sur Linkedin.
D’après votre expérience, combien de pages entreprise est-il possible de scraper par jour ou par semaine ? Même question pour les profils.
Je vois, ici ou là, qu’il est conseillé d’en faire 100 par jour. Je précise que j’ai un compte Linkedin de base.
Avez-vous un retour d’expérience sur ce point ? Merci d’avance et bonne soirée
D’expérience je pense qu’on peut dire que les chiffres des limites ne sont pas gravés dans la pierre, il est fort probable que le site analyse les comportements des comptes utilisateurs et se base sur leur fréquence d’usage et de visites de profils pour détecter des anomalies ou comportements anormaux.
Par exemple, si un compte vierge se créé ou qu’un compte quasi inactif se met à visualiser plusieurs centaines de profils par jour, il va être directement et facilement repéré.
En général, les gens suggèrent de se limiter à une centaine de profils/jour histoire de rester sous les radars, ce n’est pas une mauvaise idée, mais j’imagine que certains autres ne se privent pas pour « bourriner » davantage…
Salut Soleil et bienvenue chez Phantombuster (spoiler, j’y bosse).
En effet, LinkedIn surveille l’activité des utilisateurs et tend à suspendre les comptes qui effectuent trop d’actions/visites. Pour cela nous recommandons généralement de ne pas visiter plus de 80 profils par jour, utilisateurs et entreprises cumulés. Tu peux donc visiter 60 profils d’utilisateurs dans une journée et les ajouter parmi tes connections et scraper 20 pages d’entreprises et extraire toute la donnée.
Si ton compte est actif quotidiennement (on dit qu’il est « chaud »), tu peux expérimenter et monter plus haut. Si tu abuses, LinkedIn déconnectera gentiment ton compte et te demandera de te relogger ou de changer de mot de passe ou autre joyeuseté de la sorte.
On track énormément de donnée chez Phantombuster sur les limites des sites qu’on automatise. Ces chiffres sont les plus conservateurs et nous permettent de protéger la très grande majorité de nos utilisateurs.
Comme le dit ScrapingExpert ces chiffres sont basée sur ton compte (âge, nombre de connections, proximité des gens à qui tu essaies de te connecter, etc.) ainsi qu’à tes comportement (Ajouter 100 personnes d’un coup vs. 10 personnes toutes les 20min). Leur algorithme est secret donc on ne peut que faire des estimations plus ou moins bonnes.
En tout cas merci de nous utiliser, amuse-toi bien et à bientôt sur ce forum ou sur le Slack si tu as des questions
@julespb j’ai l’impression que sur PhantomBuster, certains scripts utilisent comme « support » mon compte Linkedin pour scraper (comme celui qui permet d’obtenir les informations d’une société en partant de l’URL Linkedin) car j’ai du rentrer mon cookie Linkedin, et d’autres scripts n’utilisent pas comme « support » le mon compte Linkedin pour scraper (récupération des URLS liknedin des sociétés depuis une liste avec le nom des sociétés)
En partant de ce constat, est il possible d’utiliser le script de récupération des URLS liknedin des sociétés depuis une liste avec le nom des sociétés dans la limite du « temps machine » alloué par le compte sans se soucier de la limite de 100 profiles entreprise par jour?
Certains Phantoms ont besoin de tes cookies pour réaliser les actions: Envoyer un message en ton nom ne peut être fait sans avoir accès à ton compte (cookies de session). Par contre extraire la donnée d’une recherche Google Maps peut être faite sans être connecté à un compte Google. Dans ce cas, demander tes identifiants n’a aucune valeur ajoutée, donc on ne le fait pas.
Tu peux donc scraper dans la limite de ton temps d’exécution quotidien avec les Phantoms qui ne demandent pas de cookies.
