Scraping pour faire un classement


#1

Bonjour,

Je suis le fondateur de MaYummyBox, une box culinaire pour les enfants.
Nous participons à La Fabrique Aviva, nous devons récolter un max de vote pour être dans les 200 premiers et passer à l’étape suivante.

Il n’y a pas de classement sur leur site pour savoir ou l’on se situe par rapport aux autres, donc j’ai pensé à une solution qui serait de scraper régulièrement le site de vote pour récolter les participants et leur nombre de votes, puis faire un classement.

Selon vous est ce que c’est faisable, si oui quel outil sera le plus adapté ?

Au passage si vous voulez soutenir un beau projet, n’hésitez pas à voter pour nous :smiley:
lien pour voter => https://lafabrique-france.aviva.com/voting/projet/vue/17-664

Merci d’avance pour votre aide :blush:


#2

Bonjour,

Du sur mesure par exemple, pour obtenir ceci (MaYummyBox actuellement classé 364 / 1255 avec 700 votes) :

A noter: la Google Spreadsheet est mise à jour à fréquence régulière, et une sheet est créée 3 x jour, pour 3 classements journaliers.


#3

Oh merci !! :blush: Ca va je pensais qu’on était plus loin, on a encore du travail mais c’est jouable.

Comment je peux refaire la même chose pour suivre mon classement ?


#4

Je ne sais pas quelles sont tes compétences techniques, mais ça te prendrait 2 à 3 journées de boulot pour obtenir un tel résultat.

Le résultat que tu viens de voir a été obtenu suite à la mise en place:

  • d’un bot maison, utilisant une centaine d’IPs avec multiples processus lancés en parallèles,
  • de stockage des données en base Mongo,
  • de l’interfaçage de ces données avec une API sur un de mes serveurs web,
  • API qui est ensuite consommée par un Google App Script afin d’alimenter régulièrement le Google Spreadsheet.

#5

J’ai quelques connaissances en dev mais pas assez pour faire ca.
Est ce que je pourrais te demander de temps en temps mon classement, promis max 1 fois par semaine :blush: jusqu’au 11 avril ?
Si tu as un export du classement actuel je suis preneur.


#6

Je règle quelques bugs et je t’envoi l’export.

Peut-être devrais-je réfléchir à une offre premium pour les plus gourmands souhaitant un classement temps réel au jour le jour :innocent:


#7

Génial tu es top :blush:
Lol
Pour te remercier, si tu souhaites offrir une de nos box à quelqu’un dit le moi, c’est avec plaisir :blush:


#8

Je confirme, gros bug de synchro dans le Google App Script.

Classement rectifié: 540/1256


#9

ha merde, on a perdu des places :scream:


#10

halala tu vends du rêve aux gens, t’es trop rapide @ScrapingExpert :sunglasses: :sunglasses:


#11

Je triche, je l’ai dev y’a quelques jours pour d’autres startups du coin …:smiley:


#12

Aurais-tu un mail à me communiquer en MP afin que je te partage le Google spreadsheet?


Team : CamilleBriceJulienVivianBorisXavierSteven.
Follow @growthhackingfr