Moteur de recherche multi site ? des infos ?

Salut la communauté :slightly_smiling_face:,

Je suis à la recherche d’infos sur le fonctionnement, la mécanique et les technos utilisées,
ici → https://www.leparking.fr/
De l’extérieur c’est un moteur de recherche multi-site de petites-annonces, qui va interroger des sites divers en Europe, qui récupèrent les annonces parues et les affiches en interne.

Amis growth marketers avez-vous des pistes ?
Alex.

.
.
.
ps : pour la petite vanne dans les mentions légales, nous pouvons y lire :

l’utilisateur du site Leparking.fr s’engage à ne pas :

  • utiliser un robot, notamment d’exploration (spider), une application de recherche ou récupération de sites Internet ou tout autre moyen permettant de récupérer ou d’indexer tout ou partie du contenu du site leparking.fr, excepté en cas d’autorisation expresse et préalable de ADS4ALL.

→ Fait ce que je dis mais ne fait pas ce que je fais. :grin:

Si tu acceptes de te faire crawler par Google, alors tu acceptes de te faire crawler par tous. Du coup tu verifies le robots.txt (pour voir ce que tu as le droit de crawler) et tu en profites pour y récupèrer le sitemap, après pour la techno : https://github.com/puppeteer/puppeteer (et/ou voir toolbox)

Sinon, tu peux regarder du côté de l’api de Custom Search de Google.