Bonjour,
Je suis le fondateur de MaYummyBox, une box culinaire pour les enfants.
Nous participons à La Fabrique Aviva, nous devons récolter un max de vote pour être dans les 200 premiers et passer à l’étape suivante.
Il n’y a pas de classement sur leur site pour savoir ou l’on se situe par rapport aux autres, donc j’ai pensé à une solution qui serait de scraper régulièrement le site de vote pour récolter les participants et leur nombre de votes, puis faire un classement.
Selon vous est ce que c’est faisable, si oui quel outil sera le plus adapté ?
Au passage si vous voulez soutenir un beau projet, n’hésitez pas à voter pour nous
lien pour voter => https://lafabrique-france.aviva.com/voting/projet/vue/17-664
Merci d’avance pour votre aide
1 « J'aime »
Bonjour,
Du sur mesure par exemple, pour obtenir ceci (MaYummyBox actuellement classé 364 / 1255 avec 700 votes) :
A noter: la Google Spreadsheet est mise à jour à fréquence régulière, et une sheet est créée 3 x jour, pour 3 classements journaliers.
3 « J'aime »
Oh merci !! Ca va je pensais qu’on était plus loin, on a encore du travail mais c’est jouable.
Comment je peux refaire la même chose pour suivre mon classement ?
Je ne sais pas quelles sont tes compétences techniques, mais ça te prendrait 2 à 3 journées de boulot pour obtenir un tel résultat.
Le résultat que tu viens de voir a été obtenu suite à la mise en place:
- d’un bot maison, utilisant une centaine d’IPs avec multiples processus lancés en parallèles,
- de stockage des données en base Mongo,
- de l’interfaçage de ces données avec une API sur un de mes serveurs web,
- API qui est ensuite consommée par un Google App Script afin d’alimenter régulièrement le Google Spreadsheet.
2 « J'aime »
J’ai quelques connaissances en dev mais pas assez pour faire ca.
Est ce que je pourrais te demander de temps en temps mon classement, promis max 1 fois par semaine jusqu’au 11 avril ?
Si tu as un export du classement actuel je suis preneur.
Je règle quelques bugs et je t’envoi l’export.
Peut-être devrais-je réfléchir à une offre premium pour les plus gourmands souhaitant un classement temps réel au jour le jour
Génial tu es top
Lol
Pour te remercier, si tu souhaites offrir une de nos box à quelqu’un dit le moi, c’est avec plaisir
Je confirme, gros bug de synchro dans le Google App Script.
Classement rectifié: 540/1256
ha merde, on a perdu des places
halala tu vends du rêve aux gens, t’es trop rapide @ScrapingExpert
1 « J'aime »
Je triche, je l’ai dev y’a quelques jours pour d’autres startups du coin …
3 « J'aime »
Aurais-tu un mail à me communiquer en MP afin que je te partage le Google spreadsheet?
Hello ScrapingExpert:)
Ta solution a l’air top! J’ai exactement les mêmes besoins que neocanada sur le même site en plus. Je suis data scientist, avec un background software. J’ai des connaissances de base en info mais je t’avoue que que je suis débordée côté boulot.
Est-ce qu’il serait possible d’échanger ensemble par mail sur la solution? Ce serait génial de ta part.
Merci beaucoup
Salut !
Je me suis lancé dedans si j’ai le temps de finir je t’envoie le code
Je suis aussi datascientist chez Midgard, good luck!!
Je te donne le miens pour aller plus vite :
marcu-andria.battesti@midgard-ai.com
1 « J'aime »
Par contre je ne fais pas de scraping, je requête leur api puis je parse le json pour le mettre à la fin en csv
1 « J'aime »
Hello:) merci beaucoup tu gères !!! Je viens de t’envoyer un mail.