Scrap Google

Bonsoir,

Je cherche à scrapper Google et récupérer les 50/100 premières requêtes.

Pour se faire, j’utilise Zennoposter avec la technique Google Alert + Google Translate. Cela fonctionne bien cependant je me fais bannir au bout d’un moment.

Le problème c’est que ce n’est pas réellement moi qui me fait bannir mais bien Google qui bannit sa propre IP.

Avez-vous une idée pour que je puisse réaliser ce scrap sans être bloqué ? Dans l’idée j’ai 250k mots clés à rechercher mais pas sur une seule journée, cela peut être étalé dans le temps.

Merci à vous pour vos retours,
Arnaud

salut, passer par un vpn ou proxy c’est la seul solution

J’ai un abonnement Hidemyass mais même en changeant d’ip une fois bloqué, je le suis toujours car Google passe toujours par sa même ip pour retourner les résultats Google Alert et donc ça ne change rien :confused:

Est-ce que @camillebesse / @cebri / @karni pourrais m’aiguiller ? :smiling_face_with_three_hearts:

Merci d’avance
Arnaud

si tu as des proxies, passe par google directement, pas par google alert !

1 J'aime

J’ai pris 1GB de Residential Proxy sur proxy-cheap.com

Par Google directement avec Scrapebox et du proxy Google (même si c’est de plus en plus dure à trouver).

C’est bon, en utilisant un rotor proxy j’ai pu scraper mes 20 000 url en 1 heure pile poil :slight_smile:

Ca m’a cramé 0,2GB sur mon total de 1GB pour 5$ !

2 J'aimes

20K Urls pour 250K mots clés ?

Non, j’ai pris une portion de mes urls à scraper.

Par ailleurs, sur ZennoPoster j’ai mis une liste avec mes URLS avec suppression de la ligne prise + sauvegarde des modifications apportées au fichier cependant je rencontre un problème.

Lorsque je lance une vingtaine de threads, j’ai des URL qui sont traitées en double ou triple. Avez-vous ce problème sur la gestion des threads par ZennoPoster ?

Merci par avance de votre aide :slight_smile: