Hello les GH !
Des personnes parmi vous qui scrapp Twitter ? Si oui je rencontre un problème depuis quelques jours ! Le scroll n’est plus infini…… Des idées sur la question ?
(Entre 50 - 60 résultats pas plus…)
Merci
Non.J’essaie, et c’est 85 ( seulement 85 tweets dans mon compte)
Yes … Bon, on va essayer de trouver une solution du coup haha ! Merci pour ton retour !
Tu veux scrapper quoi exactement dans Twitter ? Des followers ? Phantombuster peut te permettre de faire ça, je l’ai fait il y a de ça un mois, ça m’a extract à peu près 700k followers d’un gros compte. Donc, si tu peux ^^
Twitter vient de faire la même chose qu’Instagram il y à quelques mois: fini le bon temps ou tu pouvais scraper des millions de followers. Idem pour les following.
Désormais l’API web cappe autour de 2500-3000 followers.
C’est encore possible sur IG mais verrouillé sur la plupart des comptes de célébrités.
Twitter followers/following c’est mort pour l’instant et j’imagine que c’est afin d’éradiquer des bots. Et si tu persiste à scraper ce endpoint, Twitter te rate limit. On ne peut plus voir les followers pendant plusieurs minutes.
Pas un problème de tool ici. PB, nous, autres, même topo, on peut rien y faire pour l’instant.
Pas la fin du monde, il reste Twitter people search, mais moins ciblé en terme d’intérêt.
Slack avait temporairement fait un truc similaire où ils avaient limité l’extraction des channels autour des 500 membres, puis ont retiré la limitation.
2 « J'aime »
il ne semble pas y avoir de cap trop important via Phantombuster
Merci pour vos réponses je vais test
j’ai testé: ça s’arrête autour de 2500 sur PB.
Hier Twitter a coupé l’accès sur l’API officielle et fait de même sur l’API frontend.
Source:
En dehors de Twitter Advanced Search, le scraping des followers de listes ainsi que leur membres n’a pas été limitée. Donc peut être une piste à explorer. On l’aura dans notre prochaine version.
Yes j’ai test PB, vous utilisez d’autres tools de votre côté ?
Parfois, je me demande si quand ils suppriment des fonctionnalités, c’est parce qu’elles ne fonctionnent plus et ne veulent plus faire de support (c’est plus rapide de la supprimer que de la maintenir) ou c’est vraiment pour pousser tous les devs a fuir la plateforme.
J’ai parlé il y a peu de tps avec le ceo d’un saas (concurrent a hypefury), la boite réfléchit vraiment a ne plus proposer twitter dans leurs services car proposer un service qui se base sur twitter, c’est comme avoir une épée de Damoclès. Même si cela ne dépend pas d’eux, c’est eux qui doivent gérer les utilisateurs finaux et les tickets au support…
D’un autre cote, le chaos apporte tjrs de nouvelles opportunités.
1 « J'aime »
Il y à 2 catégories de tools autour des ces platformes:
- les schedulers type Hypefurry, Typefully, TweetHunter etc. Eux utilisent L’API officielle à $42K/mois.
- les tools de scraping comme nous, PB et Captain.
Dans les 2 cas il y a des changements mais dans des proportions différentes.
Dans le cas de Hypefurry (et ils ne sont pas les seuls à s’en plaindre), la gestion de l’API officielle Twitter a été complètement erratique depuis le début. Sans compter tout les tools qui ne pouvaient pas s’aligner et qui ont du fermer boutique.
Reddit emboite le pas sur le même modèle.
Après la décision de garder ou pas ces features c’est aussi une question de degré de transparence et d’utilité:
Devrions continuer à faire plaisir aux utilisateurs en supportant des automatisations qui ne sont plus scalables, fiables ou simplement plus d’actualité? Ou pire, qui pourrait compromettre la sécurité des comptes utilisateurs? Je préfère ne pas prendre ce risque en anticipant.
Il y a aussi des cas comme tu disais où lorsque des automatisations/plateformes sont trop « gourmandes » en maintenance et support, il est préférable de les retirer.
C’est ce qu’a fait Phantombuster avec Facebook (seuls les groupes et ads library ont un intérêt ici).
Donc dans certains cas oui, on peut supprimer des features parce qu’en les maintenant tout le monde est perdant: plus de délai de maintenance, plus de support, plus d’insatisfaction client, mauvaise qualité de service, etc.
Donc si tout le monde y perd, pas la peine de s’acharner.
Maintenant ce qui change fondamentalement en termes d’opportunités, c’est que c’est parti pour en avoir moins justement. Que ce soit avec ce qui se passe chez Twitter, Reddit, avec Google SGE, on redéfinit les règles du jeux toujours plus en faveur des plateformes sociales et des Ai labs.
Clairement un internet bien moins fun qu’avant en perspective.
1 « J'aime »
Donc si tout le monde y perd, pas la peine de s’acharner.
Oui, voila, c’est le cas pour twitter. Pour l’instant, ce n’est pas « encore » critique, les gens ne sont pas partis de twitter, donc ca doit encore valoir la peine pour les saas qui utilisent les api officielles.
Mais c’est dommage pour twitter, car c’est une super plateforme, et les concurrents vont se jeter sur l’occasion de proposer leur service (meta avec un nouveau service d’ici juillet/aout, et aussi les channels whatsapp).
A voir si twitter deviendra le nouveau tumblr. Ils ont quand même une très grosse carte a jouer avec leur fonctionnalité pour vendre des produits directement via twitter. Surtout s’ils arrivent a proposer 0% de frais la 1ere année.
Et pour les opportunités, pendant la ruée vers l’or, les plus grandes fortunes ont été bâties sans or, donc il va y avoir un nouveau monde d’opportunités de l’IA.
Avec la data qui sera au centre
1 « J'aime »
Possible explication:
2 « J'aime »
1 « J'aime »
1 « J'aime »
Tu m’étonnes, ca devait être l’hémorragie de traffic vu que google a zappé twitter
Apparemment, la dernière modif est principalement pour google et apparaitre dans la search de google.
Apres plusieurs tests (device et ip différents), parfois j’ai un modal qui m’empêche de lire le tweet, parfois je peux lire, mais je ne peux rien voir d’autres, et j’ai des erreurs. Ca se voit que ca été dev rapidement.