Bonjour
Pour contourner une erreur de blocage http 403 avec un programme de scraping :
1/ Y a t il des outils ou process pour récuperer des logs explicite pour comprendre la raison du blocage de la recuperation du code de la page internet ?
2 / quelles sont les techniques possibles pour contourner ce problème dans un programme python :
- api de scrapping ( octoparse, brightdata,…)
- proxies
- user agent
- options dans le headers
- gestion de pause de temps entre des scrapping pour eviter du blocage
- utilisation des headless browser dans la blibliotheque selenium
- utilisation de undetected chrome driver dans selenium
- utilisation du framework python scrappy
merci pour votre aide
cordialement
ludovic