Scraping site avec login

bonjour, je suis tout nouveau et novice. J’aimerai savoir comment peut’ on scraper des informations d’un site dont nous avons le login.
Je pense qu’il faut un petit script mais je voudrai pas partir dans tous les sens .
merci pour votre aide

Avec webscraper, tu peux créer des automatisations de scénario de scrape depuis y’a machine, et donc en étant connecté.

Leur site propose plein de tuto, si tu regardes les vidéos tu devrais pouvoir démarrer solo

1 J'aime

Tu peux faire ça aussi avec axiom.ai. Ils sont incubés à Ycombinator. Très bonne team, très réactive.

Sinon, si tu codes un peu : vérifie si tu peux te login via un cookie, et injecte le dans ton script. Si ça ne marche pas, regarde la requête du login et reproduis la !

j’ai fait un bout de code. mais le formulaire est plus complet que je pensais, on y trouve autre chose que le name et pass. je sais pas comment le gerer
Capture11

import requests
login_meteo = « test »
password_meteo = « test »

with requests.Session() as s:
url = ‹ https://www.meteorage.com/fr/user/login/ ›
s.get(url)
login_data = {‹ name ›: login_meteo, ‹ pass ›: password_meteo}
s.post(url, data=login_data)
r = s.get(‹ https://services.meteorage.com/cats/catsweb.php/fr/index/3341c137fdb7f3fa6ff49255df6f10db/4892 ›)
print(r.text)

import requests

login = ""
password = ""

session = requests.Session()

headers = {
    'Connection': 'keep-alive',
    'Cache-Control': 'max-age=0',
    'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
    'sec-ch-ua-mobile': '?0',
    'Upgrade-Insecure-Requests': '1',
    'Origin': 'https://services.meteorage.fr',
    'Content-Type': 'application/x-www-form-urlencoded',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Sec-Fetch-Site': 'same-origin',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-User': '?1',
    'Sec-Fetch-Dest': 'document',
    'Referer': 'https://services.meteorage.fr/cats/catsweb.php/fr/auth/meteorage',
    'Accept-Language': 'fr-FR,fr;q=0.9,en-US;q=0.8,en;q=0.7',
}

data = {
    'subservice': '',
    'script': '/cats/catsweb.php',
    'referer': '',
    'redirectwid': '',
    'querys': '',
    'login': login,
    'password': password
}

response = session.post('https://services.meteorage.fr/cats/catsweb.php/fr/login', headers=headers, data=data)

if "Bienvenue dans votre Espace Client" in response.text:
    print(f'> Connecté au compte {login}')
else:
    print('> Erreur : ')
    print(response.text)

Voici ce que j’ai pour la connexion, ça marche avec un compte que je viens juste de créer.
Si tu es connecté avec succès, tu peux utiliser la session pour naviguer sur le site depuis ton compte !

1 J'aime

super, je vais essayé et comment je fais pour aller chercher une info sur une autre page du site une fois l’authentification faite svp?

bonjour, Paul j’ai essayé mais voila le résultat peux-tu m’aiguillé? ça fonctionne pas
merci