Scraper résultats de recherche google

Scraping
#1

Bonjour,

J’ai fait une recherche sur google du type :

> inurl:exemple_de_page_bien_precise.html

qui me retourne un millier de résultats.

J’aimerais maintenant récupérer ces résultats de manière à seulement obtenir les URLs. (Je n’ai pas besoin de plus d’infos).
Je sais que Google n’autorise pas le crawling/scraping de ses résultats. Et même via leur API je n’ai rien vu qui pourrait m’aider à récupérer automatiquement ces résultats.

Néanmoins, j’ai trouvé cette solution ci-dessous :


C’est une solution manuelle avec l’aide d’une extension Chrome.
Dans mon cas, vu le peu de résultats à récupérer je ne vais pas m’aventurer sur des solutions plus compliquées ou payantes.

Et vous, avez-vous une technique pour ce genre de besoins ?

Récupérer les URLS d'une requête de recherche sur google
equivalent gratuit scrapebox
#2

=> Scrapebox

5 J'aime
#3

Merci, j’étais déjà tombé sur cet outil en faisant une recherche sur ce forum.
Dommage qu’il n’y ait pas une version d’essai.

#4

Serpitude

1 J'aime
#5

dans les options de recherche de google, tu peux décider d’afficher jusqu’à 100 resultats par recherche google

Paramètres de recherche > Résultats par page

3 J'aime
#6

Ay,

Passe l’affichage des résultats à 100 et utilise ce bookmark Javascript :slight_smile:

javascript:(function(){output='<html><head><title>SEO%20SERP%20Extraction%20Tool</title><style%20type=\'text/css\'>body,table{font-family:Tahoma,Verdana,Segoe,sans-serif;font-size:11px;color:#000}h1,h2,th{color:#405850}th{text-align:left}h2{font-size:11px;margin-bottom:3px}</style></head><body>';output+='<table><tbody><tr><td><a%20href=\'http://www.chrisains.com\'><img%20src=\'http://www.chrisains.com/wp-content/uploads/2015/06/chrisains.com-logo1.png\'></a></td><td><h1>SEO%20SERP%20Extraction%20Tool</h1></td></tr></tbody></table>';pageAnchors=document.getElementsByTagName('a');divClasses=document.getElementsByTagName('div');var%20linkcount=0;var%20linkLocation='';var%20linkAnchorText='';output+='<table><th>ID</th><th>Link</th><th>Anchor</th>';for(i=0;i<pageAnchors.length;i++){if(pageAnchors[i].parentNode.getAttribute('class')!='_Rm%20bc'){var%20anchorText%20=%20pageAnchors[i].textContent;var%20anchorLink%20=%20pageAnchors[i].href;var%20linkAnchor%20=%20anchorLink%20+%20'\t'+anchorText;var%20anchorID%20=%20pageAnchors[i].id;if(anchorLink!=''){if(anchorLink.match(/^((?!google\.|cache|blogger.com|\.yahoo\.|youtube\.com\/\?gl=|youtube\.com\/results|javascript:|api\.technorati\.com|botw\.org\/search|del\.icio\.us\/url\/check|digg\.com\/search|search\.twitter\.com\/search|search\.yahoo\.com\/search|siteanalytics\.compete\.com|tools\.seobook\.com\/general\/keyword\/suggestions|web\.archive\.org\/web\/|whois\.domaintools\.com|www\.alexa\.com\/data\/details\/main|www\.bloglines\.com\/search|www\.majesticseo\.com\/search\.php|www\.semrush\.com\/info\/|www\.semrush\.com\/search\.php|www\.stumbleupon\.com\/url|wikipedia.org\/wiki\/Special:Search).)*$/i)){if(anchorID.match(/^((?!hdtb_more|hdtb_tls|uh_hl).)*$/i)){linkLocation+=anchorLink+'<br%20/>';linkAnchorText+=anchorText+'<br%20/>';linkcount++;if%20(anchorText%20===%20undefined)%20anchorText%20=%20pageAnchors[i].innerText;output+='<tr>';output+='<td>'+linkcount+'</td>';output+='<td>'+pageAnchors[i].href+'</a></td>';output+='<td>'+anchorText+'</td>';output+='</tr>\n';}}}}}output+='</table><br/><h2>URL%20List</h2><div>';output+=linkLocation;output+='</div><br/><h2>Anchor%20Text%20List</h2><div>';output+=linkAnchorText;output+='<br/>%C2%A0<br/><p%20align=center><a%20href=\'http://www.chrisains.com\'>www.chrisains.com</a></p>';with(window.open()){document.write(output);document.close();}})();

Ca donne un truc du genre :

https://nimbus.everhelper.me/client/notes/share/929292/vub1safxotw79q6bsth8

3 J'aime
#7

Hello,
Rapide, gratuit et easy to use il y a http://www.360aday.com/seo-tools/google-serp.php
Scrap les 1 000 premiers résultats et te fait un export en CSV :slight_smile:

2 J'aime
#8

Une méthode ici pour extraire les liens Google: http://responsablemarketing.fr/

1 J'aime
#9

Merci à tous pour vos contributions !
Je ne connaissais pas toutes ces solutions ! Vous m’avez bien aidé :+1:

2 J'aime
#10

Tu as aussi SEMrush, tu tapes un mot clé, et tu as la liste des URL classées par ordre, avec possibilité de faire un export. Exemple https://www.semrush.com/fr/info/marketing

A mon avis tu peux aussi le faire avec Ahref (14 jours gratuits)