Robot leboncoin envois mail automatique

c’est pas un pb de port ?

Pire que ça: en switchant sur ma connexion 4G ça tourne, conclusion, y’a un firewall qui bloque certains ports au niveau de l’endroit où je me connecte…

:joy:
Connexion chez qui ? Free ?

1 « J'aime »

On dirait que ton problème vient de la connexion au super proxy de luminati et pas du serveur de leboncoin.

Non il s’agit bien d’un problème de firewall de la société qui gère la connexion ici, qui bloque certains ports. Vérifié, et prouvé… Donc je passe par ma connexion 4G :slight_smile:

Hello, est-ce que l’un d’entre vous à trouver une solution à ce problème ?
Avez-vous créé le groupe Telegram ?

Petite relance sur le sujet.

J’ai sortie du placard ma super moulinette de contact d’annonce automatique via Imacro (lol).
Rotation d’IP / message et compte email à foison. Je ne m’en étais pas servie depuis au moins 1an.
Tristesse infinie : marche pas.

Enfin ça dépend : après de multiples test, j’ai réussi à faire parvenir des messages en masse. Ce sont des fausses demandes de contact … « bonjour, je suis intéressé blabla + question random ou prise de rdv ». Donc les gens répondent volontier à ce genre de chose. Et j’ai un taux de réponse à ces demandes de 70%. (sur 750 envoi au total).
A un rithme de moins de 2 annonces par minutes. C’est significatif en ce qui me concerne.

Et vous me répondrez : quel est ton p*tain de problème dans ce cas ?
=> Impossible de renvoyer des messages un peu trop publicitaire.
J’ai essayé long / court / Avec url (je précise : nom de domaine, pas un vrai lien) / sans url. En évitant des mots clés qui trigger des filtres spam en mailing comme « gratuit ».
Rien à faire, ca bloque. Je précise que j’utilise un pool de 20ips, mais des emails différents à chaque fois sur un provider propre. Et avec des messages tournant.

Donc : pour moi, ca vient de l’analyse de message principalement, seul caractère qui change dans mes tests. Sachant que j’arrive à choper un poil de trafic (genre 10-15 visiteurs). Je suppose que les premiers passent, et ca bloque en suite.
Je vais tester de passer sous illuminati, et de changer le proxy et l’email à chaque fois. (J’espère que ça va pas me couter une blinde)

Si certains veulent échanger sur leur pattern de messages, j’ai quelques trucs croustillants à partager en échange. (en mp si vous êtes pas à l’aise).
je vais essayer de me pencher sur comment passer par l’API, j’ai déjà regardé sans aucun succès.

Petit tips : j’ai essayé une moulinette sur selenium, ca ne passe jamais très longtemps. (blacklist à la 88éme annonce contacté).
Pour info selenium webdriver envoi un paramètre « webdriver true » dans le user agent (vérifié avec whoer.org).
Et pensez à désactiver WebRTC si vous voulez pas que votre IP originelle soit grillée quelle que soit la technique que vous utilisez.

2 « J'aime »

Je déterre à nouveau le sujet.

Je rencontre un soucis sur la réputation des proxys que j’utilise.
Je souhaitais tester les proxys Luminati, mais ils semblent bloqués immédiatement : aucun message ne passe pour des IPs pourtant françaises.

Quand j’analyse les connexions effectuées par Leboncoin lors du chargement de la page, il y a des appels à des sites Google/Adword. Les Proxys luminati déclenchent des appels à google.co.uk / .ru et d’autres site Google à l’étranger, qui renvoient des codes 500.
Ce qui permet certainement à Leboncoin de déterminer que c’est une ip à l’étranger.
Alors que mes autres providers restent en google.fr / .com et en code 200.

Je me demandais si quelqu’un avait rencontré ce comportement ?
Je précise que je passe par leur Proxy Manager. J’ai l’abonnement gratuit de test avec 5$ de crédit offert pour les IPs mutualisées, mais je n’utilise que celles indiquées comme basées en France.

Bonjour,

Je viens de relancer mon scrappeur qui m’a permis de poster une liste d’annonces sur lbc, il y a de cela 3 mois environ…

Il ne fonctionne plus :frowning:

J’utilisais webdriver (Chrome) en C#.

Désormais, quand je me connecte sur lbc avec webdriver, j’ai systématiquement un captcha :frowning:

Alors que sans webdriver, le site s’affiche nickel…

Quelle est la solution la plus rapide (en terme de dév) pour poster une liste d’annonces sur lbc ?

Les performances ne sont pas importantes pour moi…

Merci d’avance

Nara20

Bonjour @nara20,

LBC est protégé par Datadome depuis Septembre 2018, il est possible de berner Datadome pour accéder à certaines pages, mais cela reste limité.

Avec un peu de recherche sur Datadome, tu pourras réussir a faire passer quelques test mais leur système évolue assez rapidement.
Généralement sur 10 test d’accès a LBC, j’arrive a en faire passer 5/6 grand maximum et 4/5 en moyenne.

Si quelqu’un est en mesure d’expliquer comment Datadome génère un cookie/clé unique je suis preneur.
De mon point de vu Datadome flirte avec des systèmes plus ou moins légaux pour générer ce cookie ( taille de l’historique du navigateur, nombre d’addons sur le navigateur, le réferer, user-agent, adresse IP, le nombre de tabs ouvertes, surement un temps de session…).
Si Datadome repère deux « X-DataDome » et deux « X-Unique-Id » généré similaire, tu te prends le Captcha.

Merci et bonne journée à vous.
Neeko

1 « J'aime »

@Neeko: Tu veux dire qu’ils font du fingerprinting ?
Je n’ai pas remarqué de pattern de ce type de mon côté.
Surtout des checks de base : JS, réputation d’ip, etc.

@nara20 Lance ton script avec webdriver et va sur whoer.net. Tu verras un paramètre webdriver = true s’afficher. je pense que Datadome le voit et te bloque pour ça.
Il net faut pas que tu utilises un navigateur headless non plus.

Bonjour,

J’ai testé sur le site whoer.net, mais je n’ai pas de webdriver=true. Si je recherche sur toute la page web, je n’ai nulle part le mot webdriver…
J’utilise Chrome sans aucune option (donc pas de headless).

Nara20

Bonjour Neeko,

Merci pour ces infos.
J’ai essayé directement sur la page principale LBC, et je vois que dès la première requête, j’ai le captcha si je suis en webdriver (100% des cas)
Sans webdriver, pas de soucis, j’accède au site sans captcha (99% des cas)…

J’ai fais une capture avec fiddler, et je ne voyais pas de cookie envoyé.
Avec F12 de Chrome, je vois effectivement, un cookie envoyé dès la 1ère requete (bug de fiddler ???).

Est ce que cela veut dire qu’il qu’avec webdriver, je devrais y coller un cookie dès le démarrage pour espérer passer de temps en temps ?

Merci d’avance
Nara20

Il est possible que je me trompe, de ce que je me suis renseigné sur le système de DATADOME, le cookie généré est un cookie unique.
Si je comprends ta logique, tu veux injecter un cookie unique pour que Datadome te laisse passer sans te proposer leur jolie CAPTCHA :slight_smile:

De mon point de vu, ce n’est pas la bonne solution, le cookie envoyé est un cookie ayant une clé unique, si ton cookie injecté est un cookie ayant une clé déjà généré -> CAPTCHA

Tu ne l’as pas précisé, mais si tu tournes sur la même IP tes test seront faussés. LBC te flag et Ban ton IP pour plusieurs heures.

@vincen Je pense que leurs tests sont plus poussés, je te laisse regardé cet article provenant d’un slide de Datadome Slide en question :slight_smile:

En ce qui me concerne, je fais mes test via Tor, je pense pouvoir augmenter la réussite de ceux-ci en passant par des proxys un peu plus fiable.
Si vous en connaissez des fiables, je suis preneur.

Bonne journée.

@Neeko: j’ai vu ces slides hiers soir :slight_smile: Donc effectivement tu as raison.
En tout cas, j’ai également un soucis de réputation d’IP. Je n’ai pas réussi à utiliser luminati (voir plus haut). Ca passe au gré des fluctuations de la réputation des IPs…

@nara20 : je viens de faire un test je confirme que whoer ne l’affiche plus. Il y a pas mal de ressource sur stack overflow sur le sujet sinon.

Bonjour,

Merci pour ces infos. Les slides sont effectivement intéressants.
Effectivement, je fais mes tests derrière la même IP…

1°/ Comment faire pour faire des tests sur différentes @IP sans trop se prendre la tête, et gratuitement en utilisant webdriver ?
2°/ Tor est utilisable avec webdriver ?
3°/ Voici le test que j’ai fais (toujours sur la même @IP, et toujours en allant sur la même url (page d’acceuil du site lbc) :
Browser A : Chrome normal
Browser B : Chrome lancé via webdriver
Ce dont j’étais étonné, mon browser A ne s’est quasiment pas pris de captcha, même après que j’ai lancé souvent mon browser B pour faire des tests.
Browser B se prend 99% du temps un captcha.
Après tous ces tests, je me disais que mon IP devait être « bannie », mais mon browser A continuait à fonctionner…
Du coup, je ne suis pas sûr que système bannisse les IPs… Je pense plutôt que l’IP doit être un critère, mais pas le seul… Etes vous d’accord ?
4°/ J’ai vu aussi qu’il y avait un script javascript pour datadome. Ce script est illisible. Je pense donc que ce script doit détecter si on est avec un webdriver ou pas… Des infos là dessus ?
5°/ Je m’aperçois que je passe beaucoup de temps a essayer de comprendre comment contourner la protection mise en place par le lbc, et en prenant du recul, je me dis qu’il y a peut-être des solutions plus simple. Mon problème est : « Je souhaites poster des annonces sur lbc depuis ma base de données et gratuitement ». Et je cherche la solution qui me demandera le moins de temps de dév, et de mise en place. Si quelqu’un a quelque chose qui réponde à cela, je suis preneur…

Merci d’avance
Nara20

yapa…

@nara20

1 => Tor
2 => Oui absolument, il suffit de passer une config custom au webdriver.
3 => Non pas forcement, pour avoir fait beaucoup beaucoup beaucoup de test, mon IP (webdriver) une fois flag me bannissait également un navigateur sans webdriver.
4 => Juste les slides pas plus d’info
5 =>Pour te donner mon parcours perso, je viens de commencer des études de développeur, sans aucune connaissance en python, webdriver et scrapping, j’ai mis trois mois à faire un script stable qui bypass datadome.

Bonne journée

Je suis en train de regarder les scripts JS renvoyés par Datadome.
Logique les scripts sont « Uglyfier », ce qui ne facilite pas la tache, en les passant par plusieurs « Un-Uglyfier », j’arrive a obtenir quelques détails sur les process de ban de Datadome.

Script JS

Pour les pros de Javascript (c’est pas mon point fort ^^), je vous laisse jeter un coup d’oeil.

Tu as donc réussi à les bypasser ? J’ai essayé toute la journée d’hier sans succès :frowning:
Tu peux partager le script (ou la méthode) ?

1 « J'aime »