J’ai un fichier excel qui contient un grand nombre d’ URL d’annonces entre particulier (genre leboncoin ou pap).
J’aimerais vérifier en automatique que les annonces liés à ces URL sont toujours d’actualité.
Savez comment faire pour qu’un robot parcours mon fichier excel, visite les pages, et ajoute une donnée « annonce valide » ou « annonce invalide » en fonction du contenu de la page cible (si elle contient le texte « Cette annonce est désactivée » pour le bon coin par ex) ?
La problématique principale est que chaque site d’annonce possède sa propre façon d’indiquer qu’une annonce n’est plus valide. Parfois cela peut être une simple page d’erreur « 404 Page not found », d’autre fois « Désolé mais cette annonce n’est plus valide », etc. Donc il faudra configurer l’outil pour qu’il gère chaque site de manière indépendante. Normalement ils sont censés renvoyer des codes HTTP 404, mais les normes sont rarement respectées…
Sinon, faire un tel outil est dans mes cordes, mais priorité aux outils gratuits qui existent peut être déjà, la communauté?
Zennoposter ou Imacros. Le premier peut se telecharger (version demo mais qui fonctionne en partie) et le deuxième tu as une version gratuite en basique qui devrait faire l’affaire.
Au fait, j’y pense … ça ne serai pas plus simple de faire un petit développement en PHP. Je n’y connais rien , mais peut-être que quelqu’un pourrait m’aider ?
Effectivement, tu peux faire un script PHP avec une fonction utilisant CURL pour requêter les URLs des sites, utiliser des proxies pour éviter de te faire bloquer, un petit coup de QueryPath pour parser proprement les HTMLs et détecter les annonces obsolètes, et un coup de ParseCSV pour écrire les données dans un fichier CSV…
Si il n y a que trois site tu peux largement te débrouiller avec import xml /html de Google sheet. C’est pas des formules très compliqué et si il te renvoi une erreur c’est que l’annonce est supprimée.
J’essaie de me mettre au Growth Hacking mais j’avoue galérer… J’aimerais extraire le nom des boîtes ainsi que que leur situation géographique dule site suivant : Trouver des Investisseurs - Réseau Financier Français mais je n’arrive pas à le faire à grande échelle.
J’ai essayé avec google sheet et la formule ImportXML mais cela ne marche pas et sur Import.io il ne scrape que 9 résultats (qui correspond au nombre d’affichage par page par défaut).
Quelqu’un aurait une solution pour que le résultat sur import.io soit plus important ? Ou un autre outil ?
Malheureusement ce genre de solution toute faite n’existe pas…
Pour plusieurs raisons:
chaque site possède sa propre structure, qui est parfois amenée à changer en cours d’année, ce qui implique de mettre en oeuvre une config propre à chaque site.
chaque site utilise une techno web qui lui est propre, du coup les liens de type pagination ou fiche de contenu peuvent être statiques ou dynamiques, dans ce dernier cas gérés via des appels à fonctions Javascript non gérées par des outils tels que Import.io ou autre.
Grossomodo, il faudrait que, par exemple, je partage ma plateforme de scraping qui gère tous ces cas de figure. Ce qui deviendrait un sacré casse tête car mon interface est très orientée fonctionnel et « techos », et pas design pour un sous, ni intuitive
Si tu es motivé pour apprendre à faire du scraping, dans l’ordre :
Apprendre a bien se servir de google spreadsheet et des fonctions importxml,data,html voir json.
Apprendre à se servir des outils types import.io
si ca marche toujours pas alors il te faudra apprendre a coder un minimum, soit phantom (js)ou Nokogiri (ruby) si page statique, watir selenium (ruby) page dynamique. De ce que je connais, c’est les plus facile d’accès
J’ajouterai Zenno entre ton 2 et on 3 , plus exigeant que import.io sur la prise en main (mais plus souple) mais plus simple à maitriser qu’un langage à apprendre.
Si besoin, à ta dispo pour toute demande de presta de ce type, ou simplement conseils/analyses.