Scraping pour faire un classement

Bonjour,

Je suis le fondateur de MaYummyBox, une box culinaire pour les enfants.
Nous participons à La Fabrique Aviva, nous devons récolter un max de vote pour être dans les 200 premiers et passer à l’étape suivante.

Il n’y a pas de classement sur leur site pour savoir ou l’on se situe par rapport aux autres, donc j’ai pensé à une solution qui serait de scraper régulièrement le site de vote pour récolter les participants et leur nombre de votes, puis faire un classement.

Selon vous est ce que c’est faisable, si oui quel outil sera le plus adapté ?

Au passage si vous voulez soutenir un beau projet, n’hésitez pas à voter pour nous :smiley:
lien pour voter => https://lafabrique-france.aviva.com/voting/projet/vue/17-664

Merci d’avance pour votre aide :blush:

1 « J'aime »

Bonjour,

Du sur mesure par exemple, pour obtenir ceci (MaYummyBox actuellement classé 364 / 1255 avec 700 votes) :

A noter: la Google Spreadsheet est mise à jour à fréquence régulière, et une sheet est créée 3 x jour, pour 3 classements journaliers.

3 « J'aime »

Oh merci !! :blush: Ca va je pensais qu’on était plus loin, on a encore du travail mais c’est jouable.

Comment je peux refaire la même chose pour suivre mon classement ?

Je ne sais pas quelles sont tes compétences techniques, mais ça te prendrait 2 à 3 journées de boulot pour obtenir un tel résultat.

Le résultat que tu viens de voir a été obtenu suite à la mise en place:

  • d’un bot maison, utilisant une centaine d’IPs avec multiples processus lancés en parallèles,
  • de stockage des données en base Mongo,
  • de l’interfaçage de ces données avec une API sur un de mes serveurs web,
  • API qui est ensuite consommée par un Google App Script afin d’alimenter régulièrement le Google Spreadsheet.
2 « J'aime »

J’ai quelques connaissances en dev mais pas assez pour faire ca.
Est ce que je pourrais te demander de temps en temps mon classement, promis max 1 fois par semaine :blush: jusqu’au 11 avril ?
Si tu as un export du classement actuel je suis preneur.

Je règle quelques bugs et je t’envoi l’export.

Peut-être devrais-je réfléchir à une offre premium pour les plus gourmands souhaitant un classement temps réel au jour le jour :innocent:

Génial tu es top :blush:
Lol
Pour te remercier, si tu souhaites offrir une de nos box à quelqu’un dit le moi, c’est avec plaisir :blush:

Je confirme, gros bug de synchro dans le Google App Script.

Classement rectifié: 540/1256

ha merde, on a perdu des places :scream:

halala tu vends du rêve aux gens, t’es trop rapide @ScrapingExpert :sunglasses: :sunglasses:

1 « J'aime »

Je triche, je l’ai dev y’a quelques jours pour d’autres startups du coin …:smiley:

3 « J'aime »

Aurais-tu un mail à me communiquer en MP afin que je te partage le Google spreadsheet?

Hello ScrapingExpert:)

Ta solution a l’air top! J’ai exactement les mêmes besoins que neocanada sur le même site en plus. Je suis data scientist, avec un background software. J’ai des connaissances de base en info mais je t’avoue que que je suis débordée côté boulot.

Est-ce qu’il serait possible d’échanger ensemble par mail sur la solution? Ce serait génial de ta part.

Merci beaucoup

Salut !
Je me suis lancé dedans si j’ai le temps de finir je t’envoie le code :slight_smile:
Je suis aussi datascientist chez Midgard, good luck!!

Je te donne le miens pour aller plus vite :
[email protected]

1 « J'aime »

Par contre je ne fais pas de scraping, je requête leur api puis je parse le json pour le mettre à la fin en csv

1 « J'aime »

Hello:) merci beaucoup tu gères !!! Je viens de t’envoyer un mail.