Scraping google - augmenter nombre de résultats par page

Bonjour à tous,

Je scrape actuellement google avec des proxies. Mon problème : chaque requête ne me remonte que 10 résultats, et je suis obligé d’avancer page par page. L’url que j’appelle est du type :

https://www.google.com/search?q={}&start={}&lr=lang_{}

En utilisant google via mon navigateur, on peut augmenter le nombre de résultats par page jusqu’à 100 en allant dans paramètres de recherche.

J’ai beau regarder les headers/arguments envoyés par mon navigateur, je ne trouve pas d’argument donnant le nombre de résultats souhaités. Quelqu’un sait où ça peut se trouver ? Est-ce lié aux cookies ?

Merci d’avance,
Clément

Il faut simplement que t’ajoutes le param &num=100 dans ta requête :wink:

1 J'aime

Aussi simple que ça … je sais pas comment j’ai pu passer à côté. En tout cas j’ai bien fait de poser la question, un grand merci @octopulseadrien !

1 J'aime