Robot leboncoin envois mail automatique


#1

hello :slight_smile:
Je souhaiterais envoyer des mails automatiquement a une certaine catégorie sur des annonces leboncoin.

Je cherche un développeur ayant les compétences de faire ce type de robot

j’en avais déjà un dans le passé, mais je pense qu’il ne fonctionne plus

il faudra bien entendu prendre en compte le blocage de leboncoin avec un vpn ou proxy


#2

LBC est devenu excessivement fort pour contrer ce type d’initiatives.

Malgré les nombreuses mesures à mettre en place auxquelles on pourrait penser (Proxies x 1 000, rotation de user-agent, humanisation du bot au niveau des interactions avec la page web, création d’autant d’adresses emails authentiques qu’on utilise d’IPs, etc), ils parviennent toujours à bloquer, et ce sans qu’on le sache (on peut toujours recevoir une copie du message envoyé sur son email sans jamais que le vrai destinataire ne le reçoive).

A ce jour, pas de solution fonctionnelle à ma connaissance. :cry:


#3

@ScrapingExpert

Peut être qu’ils mettent des flags sur les blocs d’IPs provenant de data-center ?

A part ça, je ne vois pas comment ils peuvent détecter qu’un message provient d’un bot, si tout a été randomisé comme tu le décris, utilisation de chrome en mode headless (donc quasi impossible a discerner d’un “vrai” chrome).


#4

C’est assez basique en vérité, en recordant et en comparant toutes les interactions des users avec leur interface, et en utilisant ces données dans un algo de machine learning, ils peuvent facilement détecter que le bot ne se comporte pas de manière humaine (les mouvements de souris, les temps entre chaque action comme par exemple les délais entre chaque frappe de touche, etc, ne sont pas les mêmes, trop linéaires, pas assez “imparfaits”).

Il existe à ce jour des solutions telles que Distill Networks, capables de mettre ça en oeuvre.


#5

Tu es sur de ton info ou tu supposes ?
Il me semble qu’il est possible de soumettre un formulaire en desactivant le JS sur le bon coin ? Donc tout ça tombe a l’eau du coup.

Autre question, pourquoi n’est-il pas possible d’utiliser l’API de l’application mobile ?


#6

C’est davantage une déduction faite par expérience, car il ne s’agit pas que de gentiment faire tourner des proxies pour pouvoir contourner des mesures anti-scraping.

Ces puissants algo sont capables d’enregistrer une empreinte numérique pour chaque bot/user, et de déterminer dans quel camp ce dernier se situe.

Ca ne tombe pas à l’eau pour les 3/4 des personnes qui ne pensent jamais à désactiver le JS. Bien sûr si on le désactive et que ça fonctionne, c’est une autre histoire, et une excellente nouvelle (mais je trouverais ça assez bizarre qu’ils ne s’inquiètent pas de nombreuses requêtes d’envois de messages provenant de browser avec JS désactivé, c’est un peu trop suspicieux).

Reste toujours le problème des adresses emails à faire tourner, le contenu des messages également, sinon on risque rapidement un blacklistage. Sans oublier de privilégier une adresse email utilisée par IP, et éviter de diffuser le même message depuis des IPs différentes.

Il était possible d’utiliser l’API de l’appli mobile il y a un peu plus d’un an, après il y a eu des changements, je n’ai pas re-testé depuis mais la piste est à étudier.


#7

Yes je vois !

Après pour ces fameux “puisants algo”, il y a plusieurs choses que j’aimerais ajouter:

En vrai c’est 100x plus compliqué qu’il n’y parait, à cause des faux positifs.

Par exemple, au début de Recaptcha v2, beaucoup de gens pensait que Google utilisait l’accélération du clic et calculait un scoring à partir de ça. Et puis on a fait des test et il se trouve qu’il n’en est rien. Ni ça, ni de restriction par IP.

Il y a eu plusieurs rapports et études faite sur Recaptcha, en voici un exemple:

Après ça date de 2014, et ils font des changements en permanence, la vulnérabilité au cookie a été fix depuis. Mais tout ça pour dire que c’est extrèmement compliqué de faire du scoring, et il y a toujours moyen de battre le système :slight_smile:

Et pour ceux qui ont cette problématique sur LBC, vraiment, essayez de passer par l’API de l’application mobile.
La pluspart du temps c’est très simple, le seul problème c’est lorsqu’une fonctionalité du site web n’est pas implémenté dans la version mobile.

Pour inspecter les requêtes et faire du “reverse-engineering” sur l’app mobile, je vous conseille d’utiliser https://www.charlesproxy.com/ c’est un reverse-proxy qui va vous permettre d’inspecter toute les requêtes de l’app, y compris HTTPS (via un root certificate a installer sur son device).

Avec ça et les excellents conseils de @ScrapingExpert il n’y a pas de raisons que ça ne marche pas !

En tout cas ce sont des challenges intéressants !


#8

Ton discours positif fait du bien, j’avoue parfois être un peu démoralisé car ça devient “chaud patate” à contrer.

Concernant la partie reverse-engineering pour les app mobiles, j’utilise “Packet Capture” (dispo sur Android, je ne sais pas pour Apple), c’est vraiment pas mal, c’est complètement similaire à Charlesproxy (jamais testé encore). Peut être que Charles proxy est mieux :slight_smile:

Par contre, il convient de prendre toujours mes conseils avec un esprit critique, je suis loin d’être le meilleur et j’ai encore beaucoup à apprendre sur les techniques à mettre en oeuvre, j’imagine que si j’étais en team avec quelqu’un comme @ksahin on deviendrait imbattable :stuck_out_tongue:


Communauté initiée par @camillebesse avec l'aide de @Cebri@JulienD@VivianSolide@Boristchangang
Follow @growthhackingfr