Detection des protections anti bots sur les sites d'annonce

Salut les GH,

J’ai un projet de publication automatique d’annonces sur les sites Selency, Design Market, Pamono et Leboncoin. Je commence à me renseigner sur le scrapping de données avec pupeteer pour automatiser la publication de ces annonces mais je me retrouve heurté par le problème de protection anti bots et des captchas.

Je sais que leboncoin est protégé contre les bots, mais est-ce que c’est le cas également dans le parcours de publication d’une annonce ?

De manière générale, comment savoir si un site est protégé et avec quel type de protection ?

Merci !

Max

Tu lances puppeteer sur Leboncoin et tu auras immédiatement un captcha ou un blocage.
Je suis pas certain que tu vas rencontrer un grand succès avec ton idée. Nous sommes des dizaines à l’avoir déjà développée.

Pour détecter les protections il suffit de faire un clique droit / Inspecter les éléments et sur l’onglet réseau tu vas avoir toutes les requêtes serveurs ( en rafraîchissant).

Par exemple, Leboncoin, SeLoger etc font appel à Datadome pour les protégés (bcp de boîtes en France font appel à leur services surtout depuis leur lève de font en Mars 2023)