Actualisation Scraping ?

Bonsoir,

Apres un premier sujet ou j’ai pu par différents moyens parvenir a mes fin ( scrapping simple). J’aimerai savoir si il existe des méthodes pour « actualiser » des données avec le scrapping.

Je m’explique: je suis sur googlesheets par exemple, et j’ai réussi a scrapper le prix d’un produit sur une page. J’aimerai que le prix change automatiquement, comment cela marche ?

1 « J'aime »

en effet j’ai utilisé cette fonction. Cependant j’ai + de 18 0000 URL , sois + de 60 000 requêtes a effectuer. Et l’addon n’a pas « tenu ».

Alors tu devrais regarder du côté de :

Ou du custom dev avec Puppeteer / Scrapy / Selenium etc…

2 « J'aime »

A oui effectivement tu as des volumes importants.
Je peux te faire ça si tu veux, contacte moi en mp.

ImportFromWeb est la fonction pour Google Sheets, c’est pratique et agile mais effectivement ça a ses limites. 18 000 requêtes c’est 18 000 fonctions dans une feuille de calcul, et la Google Sheets trime.
Par contre le moteur derrière la fonction permet de gérér des gros volumes sans souci. ImportFromWeb Bulk connecte directement à la feuille de calcul: