Robot leboncoin envois mail automatique

Scraping
65

Merci pour le script. Effectivement, c’est une bonne idée…
Dans le script, on voit le mot « webdriver » apparaitre plusieurs fois. C’est un des moyens de détecter si le navigateur est piloté par WebDriver/Selenium…
Le problème est que le code reste assez obscur, même après l’avoir un-uglyfié…

1 « J'aime »
66

@Neeko @fm850 Avez vous une solution fonctionnelle pour bypasser le filtrage, qui marche toujours en oct 2019?

Voici où j’en suis (chrome headless + chromedriver + selenium en python):

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("no-sandbox")
options.add_argument("headless")
options.add_argument("start-maximized")
options.add_argument("useragent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.50 Safari/537.36")
options.add_argument("window-size=1900,1080"); 
driver = webdriver.Chrome(chrome_options=options, executable_path="/usr/bin/chromedriver")
driver.get("https://www.leboncoin.fr/recherche/?text=mac&locations=")
print(driver.page_source)

Mais toujours filtré :confused:

67

Hello pour mon cas anticaptcha + zennoposter + vpn premium ca passe 90% si on y va pas comme un bourrin @fm850 si tu est toujours à la recherche… à ta dispo pour en discuter bonne journée

1 « J'aime »
68

@youyesyou Il me semble qu’il faut éviter les browsers headless. Passe par une version classique et le webdriver associé. De préférence FF pour passer webdriver = false.

Y a pas mal d’infos plus haut normalement tu devrais y arriver.

L’envoi de message en masse est dispo chez moi. (je fais du 300 jours en ce moment). Donc rien est impossible !

1 « J'aime »
69

Le problème des browsers en headless c’est qu’ils laissent trop d’empreintes qui leurs sont propres et les rendent particulièrement et facilement détectable, un peu à l’image de la propriété « webdriver » sur l’objet window.navigator.

Pour reprendre le contenu d’une réponse sur Stackoverflow très intéressante:

There is a headless browser detection test which tests for the following:

  • Does the User-Agent contain the string « HeadlessChrome »?
  • Is navigator.webdriver unset?
  • Is window.chrome unset?
  • Does the browser skip asking for permissions (like notifications)?
  • Are browser plugins unavailable?
  • Is navigator.languages unset?

If your browser answers any of these questions with yes, then you fail the test. For more information on the test, check out this post, which is a reply to a post called « Detecting Chrome headless, new techniques ».

En résumé, il y a du boulot !

6 « J'aime »