Bonjour je suis débutant dans le scrapping, je souhaite obtenir des informations de ce [site]
(Rechercher une information dans Business Immo). filtre individus > responsable immoblier
j’utilise web scrapper
L’objectif est que dans la recherche je filtre par individus puis par responsable immobilier. Une fois cela fait, je souhaite faire mon robot aller cliquer sur le nom des cibles afin d’avoir toute les informations disponibles sur la deuxième page. J’ai du mal à faire ces étapes via le clic élément de cet outil. Quelqu’un aurai une idée sur la technique à employer pour que les robots clics sur les filtres de départ ? Pour le moment tous mes tests échouent ne filtrent rien et vont chercher les info dans « tous ». Comment je peux faire pour que mon outil clic sur les filtres de recherche puis rentrer via le nom pour avoir des informations supplémentaires . Merci des tuyaux
J’avais à l’époque un problème similaire, il me semble que je l’avais résolut en regardant (de nouveau) le tutoriel de web scraper accessible ici : Web Scraper Tutorials
Le site web interroge une API Rest via une requête POST. Vous pouvez vous-même interroger cette API directement en ayant d’abord récupéré les cookies de la page. C’est facile à faire en Python je viens de tester.
En revanche je n’ai vu aucun mail mais je n’ai pas de compte sur ce site (peut être pour ça).
Aussi je n’ai pu récupérer que 1000 résultats. Je pense qu’il faut mettre un petit délai entre chaque requête sinon on est trop vite bloqué (ou alors se limiter à 20 résultats par page et non pas 500 comme j’ai fait pour ne pas éveiller les soupçons).
J’ai réussi avec web scrapper. Essentiellement en utilisant element Click qui gère les pages web dynamiques. effectivement j’ai perdu des résultats au départ en donnant un délai trop court aux requêtes. Les mails se trouvent sur la deuxième page, après avoir « cliqué » sur le nom des individus.
