Je suis actuellement en charge d’un projet de scrapping dans le domaine du voyage et j’aurais besoin de vos conseils et recommandations. Nous cherchons à récupérer des informations de prix et conditions de tous les types de chambres sur des sites de tourisme (ex. : m.booking.com) pour des périodes données, plusieurs durées et des jours de la semaine spécifiques.
Voici un aperçu de notre besoin :
Entrée : URL de départ (notamment celle de l’hôtel), date de début, date de fin, liste des durées de séjour, jours de la semaine, devise.
Sortie souhaitée : Un fichier CSV ou Excel contenant les informations suivantes :
Nom de l’hôtel
Date d’arrivée
Date de départ
Nombre de nuitées
Catégorie de chambre
Option : Nombre de lits
Type de pension
Politique d’annulation
Prix
Devise du prix de séjour
Date de l’extraction
Nous avons développé des scripts en local, mais il sont perfectible(lents, a proxifier et consomment beaucoup de ressources).
Nous cherchons donc une solution cloud qui propose le service de création/maintenance de scrapper et qui exécute les extractions demandées de manière régulière ou ponctuelle (comme WebAutomation). Idéalement, la plateforme devrait offrir :
Une interface utilisateur conviviale
Un support client réactif
Temps de scrapping
Une facturation claire (proxy, usage, maintenance …)
La possibilité de gérer une équipe dans le compte …
Si vous avez des recommandations de plateformes répondant à ces critères ou si vous êtes intéressé par une collaboration, n’hésitez pas à me contacter.
Super projet. Pourquoi, il y a t il necessairement besoin d’une plateforme ? et pas juste VPS + proxies ?
Egalement, peux-tu développer ce passage : « Nous avons développé des scripts en local, mais il sont perfectible(lents, a proxifier et consomment beaucoup de ressources). » ? A quel point les scripts sont avancés ?
Vous avez tester des plateformes mêlant IA et scraping type Browse AI ? Ceci dit, il y a des chances que cela vous coûte vite assez cher avec ce genre de solution.
Au plaisir d’échanger et pourquoi pas collaborer.
frankyyyy
L’objectif du projet est de fournir à nos agents un service leur permettant de vérifier le niveau de prix des produits qu’ils mettent en vente.
Mettre en place des VPS, des proxies et des scripts de développement/maintenance reviendrait à recréer une pâle copie d’Apify, Brightdata ou autres. L’utilisation du scrapping assisté par IA n’est pas envisageable pour des raisons de coût et de pertinence, car les objets à scrapper sont identifiés et simples à collecter. La pertinence d’une telle approche pourrait être envisagée pour la maintenance des scripts de scrapping en fonction de l’évolution des sites cibles.
En ce qui concerne les scripts actuellement développés, ils se chargent de construire un plan de travail (liste des URLs + variables), de charger les URLs et de collecter les données en fonction des spécifications de chaque script. Les scripts ne comprennent pas de phase d’analyse des données pour faciliter leur maintenance.
En conclusion, je pense que la solution à mon besoin serait de disposer d’un tiers qui développe et maintient les scripts de scrapping et de s’assurer que la planification des scrappings soit réalisée dans des délais courts.
En effet, nous avons ces projets chez WebAPI. Même UTC et support français, entreprise basée à Toulouse, monitoring 7-7, forte xp en anti-bots, scraping, proxies et datacenter. N’hésitez pas à prendre contact avec nous.