Acceder à toutes les pages de recherche Google

Bonjour,

Je recherche à scrapper tous les freelance sur linkedin à Paris. Après la recherche google classique, je tombe sur 11.000 résultats. Même avec 100 résultats par page, google ne propose que 4/5 pages de résultats.

Qqn saurait comment accéder à tous les résultats?

merci d’avance

Bonjour @Luc009,

Malheureusement Linkedin (et ces c***** de Microsoft, qui tiennent la baraque derrière) empêchent l’affichage des résultats de recherche après 100 pages :

https://www.linkedin.com/search/results/people/?company=&facetGeoRegion=%5B%22fr%3A5227%22%5D&firstName=&keywords=freelance&lastName=&origin=FACETED_SEARCH&page=101&school=&title=

Impossible donc de collecter les données passé la page 100, soit environ 1200 profils, et de même pour Google, où tu n’auras pas de résultat passé la page 5.

Il faut donc segmenter les recherches suffisamment finement (idéalement dans ton cas, 11 groupes de 1000), et ensuite collecter ces données.

La commande « insite: » n’existe pas sur Google, il doit s’agir de la commande « site: » et si c’est le cas il faut mettre le tld sinon ça ne fonctionne pas.

Pour les villes->

site:linkedin.com/in/ freelance Paris
site:linkedin.com/in/ freelance Lyon

ou encore avec l’ensemble des prénoms FR ->

site:linkedin.com/in/ freelance Thomas
site:linkedin.com/in/ freelance Julien

On fait le maximum de villes et le maximum de prénoms FR voire aussi les noms patronymiques FR, on met ça dans Scrapebox puis on dédoublonne les urls scrappées.

2 « J'aime »

@Karni, effectivement coquille de ma part, c’est bien ‹ site: ›.

Et merci de l’astuce, directement depuis Google, c’est génial…!

bonjour et merci pour les réponses

je faisais en fait référence à cette commande sur google :

-intitle:« profiles » -inurl:« dir/ » site:linkedin.com/in/ OR site:linkedin.com/pub/ « freelance » « informatique » « Paris » « @gmail.com » OR « @hotmail.fr » OR « @hotmail.com » OR « @yahoo.fr » OR « @laposte.net » OR « @wanadoo.fr » OR « @live.fr » OR « @outlook.fr » OR « @outlook.com » OR « @free.fr » OR « @orange.fr »

qui permet d’avoir les freelance informatique sur Paris et présent sur Linkedin

Google ressort 114000 résultats mais ne propose que 4/5 pages de 100 résultats soit 430 résultats environ
ma question portait sur google et non sur linkedin
comment accéder à toutes les pages google?

merci d’avance

@Luc009

Tu peux essayer en ajoutant les prénoms FR dans ta query.

Exemple :

“freelance” “informatique” “Paris” « Sebastien » -intitle:“profiles” -inurl:“dir/” site:linkedin.com/in/ OR site:linkedin.com/pub/ « @gmail.com » OR « @hotmail.fr » OR « @hotmail.com » OR « @yahoo.fr » OR « @laposte.net » OR « @wanadoo.fr » OR « @live.fr » OR « @outlook.fr » OR « @outlook.com » OR « @free.fr » OR « @orange.fr »

L’idée est de faire autant de requêtes que de prénoms FR.Pour ça tu peux t’aider de ce fichier afin de construire la liste de tes queries :

Tu peux utiliser un tool comme Footprint Factory ou simplement Excel pour combiner et créer la liste complète des requêtes.Ensuite tu balances ça dans Scrapebox puis tu dédoublonnes les urls.

2 « J'aime »

Hello, effectivement il faut segmenter les requêtes Google. (Rien à voir avec la recherche Google) tu peux trouver sur les profils de ANNUAIRE DES AUTOENTREPRENEURS DE FRANCE email et lien Linkedin. Voir aussi les annuaires d’activité libérale avec profils.

merci mais ca dépasse mes compétences informatiques

merci pour l’annuaire mais comment on extrait les emails?

@karni, quel est l’impact du tiret devant inurl, et intitle ?

28

Pour comprendre cette requête, je m’en était sorti avec cette doc, ici : https://arteoconseil.fr/blog/affinez-nos-recherches-google/

le -intitle:“profiles” signifie que Google n’affichera pas les résultats qui contiennent le mot « profiles » dans le title de la page.

le -inurl:“dir/” signifie que Google n’affichera pas les résultats qui contiennent « dir/ » dans l’url de la page.

En gros c’est pour diminuer le bruit.

2 « J'aime »

Ok, c’est une mise à l’écart de certains mots… merci à toi ! :crab:

A partir d’ici je ne te suis plus… Comment on récupère scrcapbox (je suis sur ubuntu)
Et après quand on a tous nos liens sur scrapbox on peut scraper les emails ? D’habitude j’utilise web scraper sur chrome.

Tu peux récupérer scrapebox ici http://www.scrapebox.com/ Version PC ou Mac, du coup soit une VM soit un vps si t’es sous ubuntu.
Peut etre que le plus simple reste de scraper les serps directement en extrayant les emails avec des regex depuis les serps apres je ne connais pas web scraper je ne sais pas si tu peux faire ça avec

Bonjour à toutes et à tous,

Meilleurs Voeux pour lancer 2023 ! La réussite et la santé.

En parcourant le forum et notamment cet article, j’ai cherché une solution à ma problématique mais n’ai pas trouvé. Je suis comme on dirait très novice en matière de GH et informatique poussée…

J’ai une recherche comme celle ci par exemple

site:linkedin.com/in + directeur des ventes + « @nomdudomaine »

je souhaiterais scraper l’ensemble des résultats ( Nom Prénom @ téléphone entreprise et fonction) de l’ensemble des résultats des pages de la recherche. Et que cela apparaisse dans un tableau.

Je suis preneur d’une solution même payante mais simple d’utilisation !

En vous remerciant. Bonne journée.

Avec cette requête, google te retournera des url de profils Linkedin c’est bien ça que tu cherches??
Ou alors tu veux les URLs des profiles et en plus le contenu des profils ??

Merci Adrien pour ta réponse.

Avec cette recherche type les profils ressortent avec des informations dont j’ai besoin. Et donc idéalement avoir un outil qui puisse les mettre dans un Excel. Tout cela pour éviter le copie collé Mano à mano. Donc pour répondre à ta question si j’ai bien compris je souhaite le contenu qui apparaît dans la recherche Google

Merci. A te lire

easy :wink:
il te suffit d’installer notre add-on pour google sheets ImportFromWeb (tu as 1.000 requêtes free)

et ensuite, une fois l’add-on activé sur ta feuille, tu écris:
=IMPORTFROMWEB(A1,« title,body,link »,« numResults:100 »)
où A1=site:linkedin.com/in + directeur des ventes + « @nomdudomaine »
et bien sûr tu fais varier numResults:100 ou 50 ou 200 ou…

J’espère que ça répond bien à ton besoin!

1 « J'aime »

Merci du tips. Des demain matin j’essaie et te dis.