Récupérer des données de meetups.com

BenFr · Octobre 4, 2016, 3:54

Salut les GH

Je cherche à récupérer les données de ceux qui ont participé à certains meetups.
Est ce que vous auriez des tips/outils ? Est ce que vous savez quel genre d’info peut être récupéré depuis meetup au delà de username/photo ? Est ce que ça peut aller jusqu’à l’email ?

Merci d’avance !

cebri · Octobre 4, 2016, 4:21

Ca se fait en 2 temps:

1. Extraire la liste des membres d’un meetup
Les membres d’u meetups sont listés sur la page
https://www.meetup.com/fr-FR/{meetup_name}/members

Ex.: https://www.meetup.com/fr-FR/GrowthHackingParis/members

Sur cette page, tu dois

extraire chacune des urls de profil de membres de la page
passer a la page suivante
retour à l’étape 1

2. Extraire les données des membres

Une fois que tu as la liste des urls, il te suffit de les parcourir pour extraire les données que tu veux parmi:

prenom
1ere lettre du nom
photo
réseaux sociaux: twitter, facebook, linkedin
localisation

Pas d’email donc. Mais à partir des RS, tu peux le trouver (via fullcontact par ex.)

BenFr · Octobre 5, 2016, 12:36

Merci pour ta réponse @cebri !
C’est un job qui peut être fait avec PhantomJS d’après toi ?

cebri · Octobre 6, 2016, 9:54

Sans probleme, c’est fait pour ca

Je n’ai pas testé moi même, mais j’imagine qu’en 2h ca devrait le script devrait pouvoir être écrit. Pour t’éviter les probleme d’admin, maintenance, gestion des ips etc. tu peux utiliser phantombuster.

BenFr · Octobre 6, 2016, 11:11

C’est parfait ! Merci @cebri
Je ferai un petit reporting de l’opé pour la postérité

Wil_Roy · Octobre 11, 2016, 12:35

Hello,
je suis aussi intéressé par cette idée, as-tu eu le temps de faire cette opé? si oui, qu’est-ce que ça a donné?

JulienD · Octobre 11, 2016, 1:15

Perso je suis dessus, pas encore avancé jusqu’au bout, mais le passage RS to email, j’anticipe une grosse perte.

Any details ? tips ?

cebri · Octobre 11, 2016, 10:56

J’ai voulu essayé, histoire de voir ce qu’on en ressortirait…ce script prend en entrée l’url de la page /members/ d’un groupe pour créer un csv qui va contenir tous ses membres et les détails les concernant.

github.com

bricemaurin/meetup/blob/master/meetup.rb

# usage:
# you need ruby installed to use that script
# then copy this file in a folder and open your terminal
# the first time install the mechanize gem by typing
# gem install 'mechanize'
# then for running the script type
# ruby get_meetup_member.rb url_of_the_meetup_members_page_here
# example: ruby get_meetup_member.rb http://www.meetup.com/fr-FR/Club-Digital-Paris/members/

require 'mechanize'
require 'csv'

@url = ARGV.first
@members = []

if (@url =~ /\/members\/$/).nil?
  puts "Wrong url format (should end with /members/)."
  puts "To launch this script run your query as in:"
  puts "ruby get_meetup_member.rb http://www.meetup.com/fr-FR/Club-Digital-Paris/members/"
  puts "Please try again."

This file has been truncated. show original

J’ai testé avec qqs groupes et les résultats ne sont pas géniaux. Il semble qu’assez peu d’utilisateurs incluent leur comptes de réseaux sociaux.

JulienD · Octobre 17, 2016, 1:12

Puisqu’il faut tout faire soi-même ici, voici mes résultats

34’624 profils scrappés. Cible : membres de groupes d’expatriés étrangers dans des villes françaises (majoritairement Paris)

Résultats
1407 profils FB renseignés
699 profils twitter
102 profil linkedin

622 qui ont FB + twitter
75 qui ont les 3 réseaux sociaux renseignés

22 doublons.

Je vous laisse vous faire votre avis lol

Camille · Octobre 17, 2016, 1:32

Je viens de faire le meetup growth hacking paris, uniquement pour twiter :

8 301 membres meetup = > 976 comptes twitter

VivianSolide · Octobre 17, 2016, 2:18

Blockspring gère très bien ce genre d’opération

JulienD · Octobre 18, 2016, 12:59

Ca m’étonne pas trop, tu as de meilleurs résultats, car la cible est très tech & early adopter.
Pourtant sur cette cible la, tu as une perte de 85%… Pas terrible du tout !

cebri · Octobre 26, 2016, 9:10

plutot foireux en effet…

dufoli · Octobre 26, 2016, 1:54

tu as essayé de t’inscrire sur le groupe et d’envoyer des message a d’autre membre (commence soft pour pas etre ban)?
genre:
Salut je fais parti du groupe intel avec toi (on s’est peut etre déjà croisé d’ailleurs) => REFERRAL
Je te contact car je cherche … <= truc qu’il fait
envoi moi un email sur toto (at) gmail.com et apres tu vois les mails recu.
Si le but c’est d’avoir un email…

BenFr · Octobre 27, 2016, 2:10

Effectivement j’avais pas pensé à cette méthode @dufoli .
Ça me parait smart mais sur des groupes de 10k+ utilisateurs ça me semble difficilement scalable ou en tout cas chronophage.

Merci à tous pour les résultats de vos tests !

WIL · Décembre 24, 2016, 4:37

Hello à tout le monde, je m’intéresse de près (même le weekend de Noël aux groupes meetups. @BenFr quel est le résultat des messages envoyés en privé sur ces groupes ? Je comptais faire pareil et pareil pour FB, même si pour Facebook, je sais que les messages risquent de tomber dans la boite à spam
quelqu’un connait-il la limite d’envoi de messages sur meetup par jour ?
Merci à tous ! je vous souhaite de passer d’agréables fêtes

WIL · Décembre 28, 2016, 10:58

Je viens de faire des tests alors même si c’est chronophage, le potentiel de membres sur les meetups est important…par contre le gros hic pour moi, c’est quand tu écris un message à un membre en passant par un groupe meetup, tu ne sais pas si tu lui en as déjà envoyé un avant (depuis un autre meetup dont il est déjà membre), tu ne le sais que quand tu envoies le message et bing tu prends l’historique dans la tête…donc tu passes pour un gros spammeur à part vérifier dans la messagerie avec l’identité à chaque fois de la personne pour voir si lui as déjà écrit depuis un autre groupe, je ne vois pas trop de solutions, des idées ?

WIL · Décembre 31, 2016, 3:53

je continue mon monologue je vais juste faire part de mon témoignage sur la méthode d’envoi de messages en privé sur meetup.
Alors le 1er constat c’est que Meetup est prêt à sacrifier le potentiel de messages communautaires, le dynamisme de sa communauté pour éviter le spam. Ils sont au taquet là dessus. Beaucoup de témoignages d’utilisateurs étrangers viennent corroborer mes propos : par exemple ceux qui voyagent beaucoup, d’un pays à un autre, voient souvent leurs comptes être désactivé tout simplement parce qu’ils se sont inscrits sur des meetups à Bali puis 3 semaines après en Inde…Bref
Les contraintes de meetup :

Meetup bloque quasiment tous les messages si tu ne partages pas un groupe meetup en commun avec le destinataire donc si tu veux prospecter, faut adhérer à chaque meetup. Pourtant ils offrent bien la possibilité d’écrire et de trouver les membres facilement, pas très compréhensible…
Meetup détecte si tu envoies des messages trop rapidement à la suite et sur une courte période. Par exemple,si pendant 30 minutes, tu n’as fait qu’envoyer des messages, il bloque et tu dois reprendre en général au bout d’un quart d’heure.
Tu ne peux pas faire de copier coller du même message, il faut après test à minima avoir 3 versions de message et alterner à chaque fois, deux messages identitques d’affilé, même si tu personnalises en changeant l’accroche en fonction des prénoms ça ne passe pas
Tout ce qui ressemble de près ou de loin à une adresse url dans le message va te bloquer, en utilisant un raccourci ou l’adresse normale de ton site c’est détecté et même si tu as réussi à envoyer 15 messages d’un seul coup ils désactivent ton compte.
Je pense aussi qu’ils ne font pas dans le détail, il suffit qu’un utilisateur ou deux te signale comme spam, je pense qu’il regarde rapidement le nombre de messages que tu as envoyé et pareil ils désactivent ton compte.

Alors dans tout ça, la méthode que j’ai employée c’est que mon adresse du site je l’ai mise dans ma bio et j’indique dans le message que s’ils veulent s’inscrire ils peuvent récupérer l’adresse depuis mon profil, ça c’est accepté. Envoyer 3 sortes de messages successivement ça passe aussi. Faire une pause au bout d’une demie heure. En gros il faut tout de même compter par heure pause comprise, l’envoi de 45 messages personnalisés. Dans mon cas, cela m’a ramené des inscrits et permis d’engendrer des dialogues donc dans une phase de pré-lancement c’est très utile, c’est du qualitatif pas du quantitatif. En revanche, il suffit que tu aies un ou deux utilisateurs qui te signalent malgré l’envoi de messages personnalisés et ciblés, en sachant que l’on ne peut écrire qu’aux personnes qui souhaitent recevoir des messages, ton compte est désactivé. Je précise pour conclure que mes early adopters se trouvent dans ce type de communautés donc mon ciblage n’est pas mauvais en théorie. Sur 103 messages, j’ai eu 15 inscriptions en 24 heures. L’avantage également c’est que même si ton compte est supprimé, la plupart des utilisateurs reçoivent tout de même ton message par email et peuvent l’afficher donc ça c’est top. Je pense également que je vais avoir plus d’inscriptions car la communauté meetup n’est pas aussi réactive que sur facebook par exemple, ils vont découvrir leurs emails dans quelques jours. Voilà en espérant que ce témoignage serve à quelqu’un.

Hugostamp · Janvier 3, 2017, 9:51

Super retour d’expérience !

Et t’as testé tes techniques en divisant le travail avec 4-5 faux profils + Proxys et extensions anti-tracking, pour voir si ça peut palier à la lenteur imposée par le site ?

WIL · Janvier 4, 2017, 4:31

Bonjour @Hugostamp,
Alors n’étant pas un spécialiste, pauvre débutant que je suis, je n’ai pas encore fait ces tests là mais j’ai prévu en effet de tester ces solutions car j’avais créé des profils dont l’activité est alternée. Je n’ai pas automatisé une activité, ne serait ce que minime de plusieurs profils qui tourneraient en même temps. La question proxy j’ai prévu de faire le test bientôt. Je me suis donné quelques jours pour tester ces différentes solutions.Si jamais tu te penches dessus de ton côté, je veux bien croiser les approches.