Scraper du JS Content sans Selenium

Scraping
1

J’aimerai obtenir du contenu qui ne s’affiche qu’après activation d’un script JS mais pas Selenium car je veux pouvoir mettre mon fichier de scrape sur Aws Lambda (et selenium m’a l’air trop compliqué à implémenter)

C’est une page où le contenu s’affiche 1 seconde après que la requête soit faîte via du Javascript.

Des idées ?

Merci

2

Hello,
Bien que Selenium semble pouvoir faire l’affaire, si tu veux des alternatives:

Exemple de code avec Puppeteer pour ouvrir une page dans un headless browser et faire un screenshot automatique:

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');
  await page.screenshot({path: 'example.png'});

  await browser.close();
})();
3 « J'aime »
3

Super merci !

Je maitrise surtout python mais pourquoi pas tenter du Js, mes freins c’est de ne pas avoir pouvoir pratiquer Js sur un notebook comme Jupyter et de ne pas avoir une librairie aussi pratique que BeautifulSoup (je galère avec le Regex)

J’essaye ça demain :wink:

4

Selenium fait très bien l’affaire (je l’utilise souvent en local) mais ça a l’air d’être une galère pas possible pour le faire fonctionner sur Aws Lambda :sweat_smile:

5

Tu as Splash en python sinon