Récupérer les URLS d'une requête de recherche sur google

Bonjour à tous,

j’aimerais récupérer tous les résultats (les URLS) à partir d’une requête de recherche sur le web.

Est-ce possible ? Avez-vous des solutions à me proposer ?

Merci d’avance,

Grég

Hello,
ce que tu cherche c’est par exemple :
Rechercher « growthhacking » et récupérer les 10 urls de résultats ?

Bonjour Lolo,

Oui tout à fait ! je cherche à faire cela :slight_smile:

Apify a aussi un « Google Search Scraper » qui permet de faire ça.

1 J'aime

Salut,
rien de plus simple :
1- tu crées un favori sur chrome. Tu l’appelles (comme tu veux, par exemple Google SERP Extractor).
2- Et tu colles ce code à la place de l’url :

javascript:(function(){output='<html><head><title>EXTRACTEUR DE SERP</title><style type=\'text/css\'>body,table{font-family:Tahoma,Verdana,Segoe,sans-serif;font-size:11px;color:#000}h1,h2,th{color:#405850}th{text-align:left}h2{font-size:11px;margin-bottom:3px}</style></head><body>'; output+='<table%20style="background-color:#303f9f;"><tbody><tr><td></td><td><h1%20style="color:white;">EXTRACTEUR%20DE%20SERP%20Google</h1></td></tr></tbody></table>'; pageAnchors=document.getElementsByTagName('a'); divClasses=document.getElementsByTagName('div'); var%20linkcount=0;var%20linkLocation=''; var%20linkAnchorText=''; output+='<table><th>ID</th><th>URL</th><th>Ancre</th>'; for(i=0;i<pageAnchors.length;i++){ if(pageAnchors[i].parentNode.parentNode.getAttribute('class')!='iUh30'){ var%20anchorText%20=%20pageAnchors[i].textContent; var%20anchorLink%20=%20pageAnchors[i].href; var%20linkAnchor%20=%20anchorLink%20+%20'\t'+anchorText; var%20anchorID%20=%20pageAnchors[i].id; if(anchorLink!=''){ if(anchorLink.match(/^((?!google\.|cache|blogger.com|\.yahoo\.|youtube\.com\/\?gl=|youtube\.com\/results|javascript:|api\.technorati\.com|botw\.org\/search|del\.icio\.us\/url\/check|digg\.com\/search|search\.twitter\.com\/search|search\.yahoo\.com\/search|siteanalytics\.compete\.com|tools\.seobook\.com\/general\/keyword\/suggestions|web\.archive\.org\/web\/|whois\.domaintools\.com|www\.alexa\.com\/data\/details\/main|www\.bloglines\.com\/search|www\.majesticseo\.com\/search\.php|www\.semrush\.com\/info\/|www\.semrush\.com\/search\.php|www\.stumbleupon\.com\/url|wikipedia.org\/wiki\/Special:Search).)*$/i)){ if(anchorID.match(/^((?!hdtb_more|hdtb_tls|uh_hl).)*$/i)){ linkLocation+=anchorLink+'<br%20/>'; linkAnchorText+=anchorText+'<br%20/>'; linkcount++; if%20(anchorText%20===%20undefined)%20anchorText%20=%20pageAnchors[i].innerText;output+='<tr>'; output+='<td>'+linkcount+'</td>'; output+='<td>'+pageAnchors[i].href+'</a></td>'; output+='<td>'+anchorText+'</td>'; output+='</tr>\n'; } } } } } output+='</table><br/><h2>URL%20List</h2><div>'; output+=linkLocation;output+='</div><br/><h2>Anchor%20Text%20List</h2><div>'; output+=linkAnchorText;output+='<br/>%C2%A0<br/><p%20align=center></p>'; with(window.open()){document.write(output);document.close();}})();

3- Tu configure google pour qu’il affiche 100 résultats par page
4- tu fais ta recherche
5- tu cliques sur le favori
6- tu as ton export :wink:

A+

1 J'aime

Hello,

Un outil sans pub, comme WebScraper.io par exemple, c’est une extension de Google Chrome que tu peux installer gratuitement.

  1. Une fois l’extension installée et ouverte, tu pourras y importer cette configuration:
{"_id":"google_serps","startUrl":["https://www.google.fr/search?q=growth+hacking"],"selectors":[{"id":"results","type":"SelectorElement","parentSelectors":["_root"],"selector":".rc","multiple":true,"delay":0},{"id":"title","type":"SelectorText","parentSelectors":["results"],"selector":"h3.LC20lb","multiple":false,"regex":"","delay":0},{"id":"link","type":"SelectorElementAttribute","parentSelectors":["results"],"selector":"a","multiple":false,"extractAttribute":"href","delay":0},{"id":"desc","type":"SelectorText","parentSelectors":["results"],"selector":"span.st","multiple":false,"regex":"","delay":0}]}
  • Pour cela, aller dans le menu « Create new Sitemap » -> « Import Sitemap »

  • Puis copier coller la config JSON donnée ci-dessus dans le champ « Sitemap JSON », et cliquer sur « Import Sitemap »

  1. Enfin, via le menu tu peux lancer l’action de scraping des résultats de la recherche:

  • Ou plus simplement en cliquant sur « Data preview »:

  1. Et pour modifier l’URL de la page de la recherche Google, il faut aller dans le menu « Edit metadata »:

  • Et à partir de là, rajouter des « start URL » ou changer celle déjà présente:

Ou plus simple…SeoQuake ? ils ont une option pour exporter les résultats en CSV, tout en ajoutant pas mal de metrics par dessus.

1 J'aime

Test l’outil Rddz scraper. C’est vraiment une tuerie, tu installes le logiciel, tu rentres ta requête et il te scrap les résultats 100 par 100.et ensuite tu peux aussi te créer tes propres scraper pour scraper un site.

https://www.seo-design.fr/rddzscraper-scraper-user-friendly/