bonjour, je suis tout nouveau et novice. J’aimerai savoir comment peut’ on scraper des informations d’un site dont nous avons le login.
Je pense qu’il faut un petit script mais je voudrai pas partir dans tous les sens .
merci pour votre aide
Avec webscraper, tu peux créer des automatisations de scénario de scrape depuis y’a machine, et donc en étant connecté.
Leur site propose plein de tuto, si tu regardes les vidéos tu devrais pouvoir démarrer solo
1 « J'aime »
Tu peux faire ça aussi avec axiom.ai. Ils sont incubés à Ycombinator. Très bonne team, très réactive.
Sinon, si tu codes un peu : vérifie si tu peux te login via un cookie, et injecte le dans ton script. Si ça ne marche pas, regarde la requête du login et reproduis la !
j’ai fait un bout de code. mais le formulaire est plus complet que je pensais, on y trouve autre chose que le name et pass. je sais pas comment le gerer
import requests
login_meteo = « test »
password_meteo = « test »with requests.Session() as s:
url = ‹ Se connecter | Météorage ›
s.get(url)
login_data = {‹ name ›: login_meteo, ‹ pass ›: password_meteo}
s.post(url, data=login_data)
r = s.get(‹ https://services.meteorage.com/cats/catsweb.php/fr/index/3341c137fdb7f3fa6ff49255df6f10db/4892 ›)
print(r.text)
import requests
login = ""
password = ""
session = requests.Session()
headers = {
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0',
'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
'sec-ch-ua-mobile': '?0',
'Upgrade-Insecure-Requests': '1',
'Origin': 'https://services.meteorage.fr',
'Content-Type': 'application/x-www-form-urlencoded',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Sec-Fetch-Site': 'same-origin',
'Sec-Fetch-Mode': 'navigate',
'Sec-Fetch-User': '?1',
'Sec-Fetch-Dest': 'document',
'Referer': 'https://services.meteorage.fr/cats/catsweb.php/fr/auth/meteorage',
'Accept-Language': 'fr-FR,fr;q=0.9,en-US;q=0.8,en;q=0.7',
}
data = {
'subservice': '',
'script': '/cats/catsweb.php',
'referer': '',
'redirectwid': '',
'querys': '',
'login': login,
'password': password
}
response = session.post('https://services.meteorage.fr/cats/catsweb.php/fr/login', headers=headers, data=data)
if "Bienvenue dans votre Espace Client" in response.text:
print(f'> Connecté au compte {login}')
else:
print('> Erreur : ')
print(response.text)
Voici ce que j’ai pour la connexion, ça marche avec un compte que je viens juste de créer.
Si tu es connecté avec succès, tu peux utiliser la session pour naviguer sur le site depuis ton compte !
1 « J'aime »
super, je vais essayé et comment je fais pour aller chercher une info sur une autre page du site une fois l’authentification faite svp?
