Je cherche un moyen de scraper les SERP Google et notamment leur meta « head ».
Je m’explique : je souhaite faire une recherche des différents sites ayant une certaine balise meta dans leur head, à partir des SERP car je perdrais trop de temps à vérifier à la main que chaque site dispose de la balise ou non.
Etant donné que l’on peut scraper titre-url-metadesc, je me demande si on peut scrap d’autres meta du head à partir des SERP ?
Si vous avez des pistes, je suis preneur
Merci à vous, passez une excellente journée !
Luki
Salut @luki,
Regarde ce tuto, Je pense que c’est ce que tu recherches:
1- Tu suis le tuto pour scraper l’url de chaque site à partir du SERP:
2- Tu appelles la fonction ImportFromWeb pour chaque ligne avec les xpaths //title, //meta[@name=‹ description ›], etc, …
Qu’entends-tu par footprint ? Malgré certaines connaissances je débute dans ce domaine, excuse moi
J’ai regardé Builtwith, effectivement ils ont ce que je recherche, mais c’est cher, je vais voir s’il n’existe pas des alternatives !
Au final après avoir utilisé Builtwith, ma demande s’est simplifiée aha : je recherche les sites utilisant des solutions de live-chat (crisp et intercom en l’occurence).
Alors oui, builtwith, c’est la bonne solution. Beaucoup plus rentable que de le faire toi même. Tu peux regarder la catégorie « technology lookup » de La toolbox du growth hacker 💎 pour trouver des alternatives.
