J’ai le besoin de scrapper des données sur google, et plus particulièrement google shopping.
J’ai déjà tout ce qui faut pour récupérer les données, ça fonctionne pas, pas de soucis. Mon soucis est dans la scalabilité. Pour cela, j’ai besoin de pouvoir utiliser des IP résidentielles (ou des IP de suffisamment bonne qualités qui ne soient pas bloquées par google).
Des services comme luminati ou geosurf sont trop chers par rapport à mon projet. Je suis donc à la recherche de toutes bonnes idées / bons plans pour arriver à faire cela.
J’ai également précisé mon titre, plus que google, c’est les résultats de google shopping qui m’intéressent : produits qui remontent, à quel prix, quel vendeur, …
Pour cela https://serpapi.com/ fait tout à fait le job, mais pour plus cher que ce que je cherche, et avec une couche dont je n’ai pas besoin (j’ai vraiment juste besoin d’IPs de qualité).
Des idées ? J’ai également des pistes pour avoir « mes » Ips résidentielles, mais il y a un manque de temps pour développer ça, et j’ai besoin d’une solution rapidement … Si quelqu’un à une solution autre qu’un proxy « traditionnel », je prends
Je confirme, personnellement j’utilise scraperapi qui permet d’appeler la page et de récupérer le résultat en html, à toi de le traiter derrière. J’en suis très content !
$29 pour 250,000 requêtes par moi sur le plus petit forfait. Ça passe parfaitement les captcha, mais les requêtes prennent chacune 10-15 secondes (après tu peux paralleliser).
Parfois quelques résultats vides, à gérer avec un système d’erreurs, et quand c’est le cas refaire la requête fonctionne.
Oui c’est les taux d’échecs qui m’ont fait mettre tout ça en suspend pour le moment. Mais je vais regarder aussi ce que vous suggérez. Merci pour ces infos
