Scraper metadata SERP Google

Scraping
#1

Hello tout le monde,

Je cherche un moyen de scraper les SERP Google et notamment leur meta « head ».
Je m’explique : je souhaite faire une recherche des différents sites ayant une certaine balise meta dans leur head, à partir des SERP car je perdrais trop de temps à vérifier à la main que chaque site dispose de la balise ou non.

Etant donné que l’on peut scraper titre-url-metadesc, je me demande si on peut scrap d’autres meta du head à partir des SERP ?

Si vous avez des pistes, je suis preneur :wink:
Merci à vous, passez une excellente journée !
Luki

#2

Salut @luki,
Regarde ce tuto, Je pense que c’est ce que tu recherches:


1- Tu suis le tuto pour scraper l’url de chaque site à partir du SERP:
2- Tu appelles la fonction ImportFromWeb pour chaque ligne avec les xpaths //title, //meta[@name=‹ description ›], etc, …
2 J'aime
#3

Merci pour ta réponse !
Je vais regarder ça, je te tiens au jus :wink:

#4

Tu as les snippet aussi, mais c’est tout.

Pourquoi ne pas utiliser un footprint pour cibler le sites utilisant la balise meta en question ?

Après ce que tu cherches est peut-être référencé sur : https://builtwith.com/

Il faudrait que tu sois plus précis en nous disant ce que tu cherches vraiment.

1 J'aime
#5

Qu’entends-tu par footprint ? Malgré certaines connaissances je débute dans ce domaine, excuse moi :confused:

J’ai regardé Builtwith, effectivement ils ont ce que je recherche, mais c’est cher, je vais voir s’il n’existe pas des alternatives !
Au final après avoir utilisé Builtwith, ma demande s’est simplifiée aha : je recherche les sites utilisant des solutions de live-chat (crisp et intercom en l’occurence).

Merci de votre aide en tout cas !

#6

Alors oui, builtwith, c’est la bonne solution. Beaucoup plus rentable que de le faire toi même. Tu peux regarder la catégorie « technology lookup » de La toolbox du growth hacker 💎 pour trouver des alternatives.

#7

J’ai approfondi Builtwith et vu ce qu’ils proposent, je vais passer le pas ! C’est hallucinant !
Merci encore pour cette découverte :blush: