Trouver toutes les URLs d'une catégorie de site

Scraping
1

Hello,

J’aimerais exporter toutes les URLs des sites internets qui vendent des chaussures, comment feriez-vous cela?

j’ai testé builtwith et Alexa mais je suis preneur de vos astuces :slight_smile:

Merci

2

Hi @Kevin_Dfr;

Oui le mieux pour ça, c’est d’utiliser des outils comme Builtwith (regarde la catégorie « Technology lookup » de la toolbox). Tu sélectionnes les technos ecommerce (magento, prestashop, shopify…) + ton mot clé « chaussure ».

1 « J'aime »
3

merci @Camille pour ta réponse,
j’essaye de trouver des alternatives pour ne pas avoir à dépenser 500€ :slight_smile:
as-tu entendu parler de common crawl?
il semblerait que ça puisse répondre à ma quesiton…

4

Oui mais ça te coutera plus cher de le faire avec le common crawl.

5

Sinon tu peux toujours faire un scrape Google ou bing via scrapebox (footprint du cms + mot clé). Mais ce sera moins quali et exhaustif.

6

yes il me faut une liste exhaustive donc je vais devoir sortir un billet avec buildwith.

Pour les futurs lecteur il y a aussi la recherche related: site.com sur google qui permet de chopper les URLs en lien avec le site.com sinon je scrappe les marques des marketplaces.

Toujours preneur d’autres idées encore merci @Camille

1 « J'aime »
7

Scrap google avec les queries qui vont bien -> vente de chaussures ( decliner toutes les requetes possibles…) … + footprints Magento + Prestashop + woocommerce …ensuite tu peux aller voir du côté des annuaires …pas compris l interet de tools externes en l etat . 1 eclairage ?

Edit: scrap des marketplaces

8

Hello @karni oui mais BuildWith me donne une liste exhaustive, ces URLs me permettraient de chopper les emails.
En plus des URLs je voulais avoir des infos comme les technos sur les sites, le traffic…
Pour le temps que je passerais à créer cette base c’est plus rentable que j’utilise buildWith qui me donnera tout en 1 clic, après effectivement si j’avais du temps je me serais motivé à scrapper google et qualifier les données avec blockspring :wink:

9

Ouais mais t’auras pas une liste exhaustive avec Google… :blush:

10

Ce sujet a été automatiquement fermé après 365 jours. Aucune réponse n’est permise dorénavant.