# Ma boîte à outils secrète pour scraping : Youtube, Twitter, Google, Amazon...

**URL:** <https://www.growthhacking.fr/t/ma-boite-a-outils-secrete-pour-scraping-youtube-twitter-google-amazon/21784>\
**Category:** Scraping\
**Created:** [Novembre 11, 2020, 10:25 UTC](https://www.growthhacking.fr/t/ma-boite-a-outils-secrete-pour-scraping-youtube-twitter-google-amazon/21784 "2020-11-11T10:25:21Z")\
**Posts on this page:** 6\
**Page:** 1

<div class="post-metadata">

**Author:** ![PrJohnsen](https://www.growthhacking.fr/user_avatar/www.growthhacking.fr/prjohnsen/32/24988_2.png) [@PrJohnsen](https://www.growthhacking.fr/u/PrJohnsen)\
**Post date:** [Novembre 11, 2020, 10:25 UTC](https://www.growthhacking.fr/t/ma-boite-a-outils-secrete-pour-scraping-youtube-twitter-google-amazon/21784/1 "2020-11-11T10:25:21Z")

</div>

Hello 😈

Qui a dit que les universitaires en sciences sociales étaient inutiles ? Voici un ensemble d’outils développer par le DMI

Le _Digital Methods Initiative_ est l’un des principaux groupes de recherche en études Internet en Europe.

**Quelques outils qu’ils ont développé :**

- **The Amazon Book Explorer** [ici](https://wiki.digitalmethods.net/Dmi/ToolAmazon) : Co-word anaylsis of book titles, Classification mapping

- **Amazon Related Product Graph** [ici](https://wiki.digitalmethods.net/Dmi/ToolAmazonRelatedProductGraph) : Ce script PHP vous permet de saisir un (ensemble de) ASIN et d’explorer ses recommandations jusqu’à une profondeur spécifiée par l’utilisateur.

- **Compare Lists URL** [ici](https://wiki.digitalmethods.net/Dmi/ToolCompareLists) : Comparez deux listes d’URL pour leurs points communs et leurs différences.

- **Discus Comment Scraper** [ici](https://wiki.digitalmethods.net/Dmi/ToolDisqusScraper) : Cet outil scrappe les fils et les commentaires des sites Web utilisant le système de commentaires Disqus.

- **Expand Tiny Urls** [ici](https://wiki.digitalmethods.net/Dmi/ToolExpandTinyUrls) : Développe les URL qui ont été raccourcies par des outils tels que [tinyurl.com](http://tinyurl.com) ou bit.ly. Souvent utilisé dans les médias sociaux tels que Twitter ou Facebook.

- **Geo IP** [ici](https://wiki.digitalmethods.net/Dmi/ToolGeoIP) : Traduit les URL ou les adresses IP en emplacements géographiques

- **Google Autocomplete** [ici](https://wiki.digitalmethods.net/Dmi/ToolGoogleAutocomplete) : Récupère les suggestions de saisie semi-automatique de Google

- **Harvester** [ici](https://wiki.digitalmethods.net/Dmi/ToolHarvester) : Extraire les URL du texte, du code source ou des résultats des moteurs de recherche. Produit une liste propre d’URL.

- **Image Scraper** [ici](https://wiki.digitalmethods.net/Dmi/ToolImageScraper) : Scrape images from a single page.

- **Issue Dramaturg** [ici](https://wiki.digitalmethods.net/Dmi/ToolIssueDramaturg) _(Nécéssite une demande de compte au DMI)_ : Saisissez des URL’s ainsi qu’un mot clé. Le Issuedramaturg interroge Google pour le mot clé, et affiche les Pageranks des URL au fil du temps. La sortie est un graphique du Pagerank des URL par requête.

- **Link Ripper** [ici](https://wiki.digitalmethods.net/Dmi/ToolLinkRipper) : Récupérer tous les liens internes et / ou les liens sortants d’une page.

- **Text Ripper** [ici](https://wiki.digitalmethods.net/Dmi/ToolTextRipper) : Extrayez tout non-html (c’est-à-dire le texte) d’une page spécifique.

- **News Agencies Scraper** [ici](https://wiki.digitalmethods.net/Dmi/ToolNewsAgencies) : Rechercher à partir de mots-clés et extrayez les titres, les images, les dates et le texte intégral des sites des agences de presse.

- **Source Code Search** [ici](https://wiki.digitalmethods.net/Dmi/ToolSourceCodeSearch) : Charger une liste d’URLs et rechercher des patterns/mots-clés dans le code source de la page

- **Tracker Tracker** [ici](https://wiki.digitalmethods.net/Dmi/ToolTrackerTracker) : un outil pour détecter dans un ensemble d’URL les empreintes digitales prédéfinies des technologies de suivi Web connues (Hotjar, Facebook, Heap etc.) .

- **TumblrTool** [ici](http://labs.polsys.net/tools/tumblr/) : Ce script récupère les articles tagués avec un terme spécifique de tumblr

- **Twitter Capture and Analysis Toolset** [ici](https://wiki.digitalmethods.net/Dmi/ToolDmiTcat) _(Nécéssite une demande de compte au DMI)_ : Récupère les tweets et permet de multiples analyses (hashtags, mentions, utilisateurs, recherche, …)

- **YouTube Data Tools** ici : Récupérer toutes les informations sur la chaîne, Réseau de la chaine avec les autres chaines, Réseau de relations entre vidéos via la fonctionnalité «&nbsp;vidéos associées&nbsp;» de YouTube, à partir d’une recherche ou d’une liste d’identifiants vidéo. Part d’un identifiant de vidéo et récupère les informations de base de la vidéo en question et fournit un certain nombre d’analyses de la section des commentaires.

- **iTunes App Store Scraper** [ici](https://penelope.digitalmethods.net/app-scrapers/#/apple) : Un outil pour extraire les détails des applications individuelles, collecter leurs applications associées et récupérer une liste d’applications pour un mot-clé donné.

- **Twitter Explorer** [ici](https://twitterexplorer.org/) : Pour observez Twitter via des réseaux interactifs.

_PS : Certains outils comme Netvizz (scrapping du réseau Facebook, des commentaires d’une pages, etc.) sont devenus obsolètes 😒 D’autres nécessites une demande préalables au DMI en bonne et du forme. D’autre encore nécessite la [toolbar firefox de DMI](https://www.digitalmethods.net/Dmi/FirefoxToolBar)_ ou [Gephi](https://gephi.org/) pour mieux comprendre les résultats

> PLUS ENCORE ICI : [ToolDatabase \< Dmi \< Foswiki](https://wiki.digitalmethods.net/Dmi/ToolDatabase)

D’autres universitaires français 🇫🇷

Le medialabs :

- **Navicrawler** [ici](https://medialab.sciencespo.fr/outils/navicrawler/) : Crawler web reposant sur la navigation humaine par l’utilisateur sur le web : lorsqu’il est activé, il enregistre chacune des pages visitées ainsi que l’ensemble des liens trouvés dans celles-ci. Il permet également de catégoriser les sites puis d’exporter le réseau des liens agregés entre ceux-ci

- **Cortext Manager** [ici](https://docs.cortext.net/) : Un très puissant outil de data analyse et de texte mining

Comme je n’avais pas suffisamment d’une seul vie pour utiliser ces outils je vous les partages.  
Maintenant votre imagination est la seul limite.

---

<div class="post-metadata">

**Author:** ![LioCorText](https://www.growthhacking.fr/user_avatar/www.growthhacking.fr/liocortext/32/25007_2.png) [@LioCorText](https://www.growthhacking.fr/u/LioCorText)\
**Post date:** [Novembre 12, 2020, 10:45 UTC](https://www.growthhacking.fr/t/ma-boite-a-outils-secrete-pour-scraping-youtube-twitter-google-amazon/21784/2 "2020-11-12T10:45:38Z")

</div>

Bonjour PrJohnsen,

Excellente liste ! Un outil assez sympa du Medialab est [Hyphe](https://hyphe.medialab.sciences-po.fr/).

Merci d’avoir mentionné [CorText Manager](https://docs.cortext.net/). Peut-être juste une précision, CorText Manager est porté par le LISIS, un laboratoire de recherche de l’INRAE, ESIEE Paris, du CNRS et de l’Université Gustave Eiffel. Et non par le Medialab.

Ce qui va être intéressant avec CorText Manager, c’est l’intégration de plusieurs outils assez différents d’analyse dans une même interface web: text mining, social network analysis, et plus récemment autour de la géographie.

Bon scraping!  
L

---

<div class="post-metadata">

**Author:** ![Pedrodebdx](https://www.growthhacking.fr/letter_avatar_proxy/v4/letter/p/bbce88/32.png) [@Pedrodebdx](https://www.growthhacking.fr/u/Pedrodebdx)\
**Post date:** [Novembre 23, 2020, 12:19 UTC](https://www.growthhacking.fr/t/ma-boite-a-outils-secrete-pour-scraping-youtube-twitter-google-amazon/21784/4 "2020-11-23T12:19:52Z")

</div>

merci pour ce partage

---

<div class="post-metadata">

**Author:** ![Meeko](https://www.growthhacking.fr/letter_avatar_proxy/v4/letter/m/e495f1/32.png) [@Meeko](https://www.growthhacking.fr/u/Meeko)\
**Post date:** [Novembre 29, 2020, 7:55 UTC](https://www.growthhacking.fr/t/ma-boite-a-outils-secrete-pour-scraping-youtube-twitter-google-amazon/21784/5 "2020-11-29T19:55:29Z")

</div>

Merci pour le partage vraiment 😀

---

<div class="post-metadata">

**Author:** ![JessyNH](https://www.growthhacking.fr/letter_avatar_proxy/v4/letter/j/77aa72/32.png) [@JessyNH](https://www.growthhacking.fr/u/JessyNH)\
**Post date:** [Septembre 19, 2024, 1:22 UTC](https://www.growthhacking.fr/t/ma-boite-a-outils-secrete-pour-scraping-youtube-twitter-google-amazon/21784/6 "2024-09-19T13:22:46Z")

</div>

Merci beaucoup pour ce partage

---

<div class="post-metadata">

**Author:** ![DEW-Automatisation](https://www.growthhacking.fr/user_avatar/www.growthhacking.fr/dew-automatisation/32/34140_2.png) [@DEW-Automatisation](https://www.growthhacking.fr/u/DEW-Automatisation)\
**Post date:** [Septembre 20, 2024, 1:26 UTC](https://www.growthhacking.fr/t/ma-boite-a-outils-secrete-pour-scraping-youtube-twitter-google-amazon/21784/7 "2024-09-20T01:26:16Z")

</div>

Merci c’est top 🙂