mieux qu'un JSON? Un JSON sur Google Sheets

Scraping
1

Je viens de créer ImportJSON pour Google Sheets dédiés à:

  • ceux qui aimeraient pouvoir explorer le monde des APIs mais qui n’ont pas les compétences pour manipuler les données d’un JSON
  • ceux qui travaillent régulièrement avec les JSON et qui veulent une interface rapide pour manipuler les données

Bref, ImportJSON est une simple fonction qui convertit n’importe quel JSON en une simple table 2D.

  • Ça accepte des sources multiples: Un doc Google Drive, n’importe quel URL, des requêtes cUrl
  • Ça aplatit les différents niveau du JSON en une seule dimension puis pivote les éléments en colonnes.
  • On peut filtrer rapidement
  • Les résultats sont en cache pendant 24h. Pratique pour ne pas user tous ses quotas d’une API payante
  • On peut charger des milliers de JSON sur une spreadsheet
  • Avec cUrl, même les APIs qui demandent des cookies fonctionnent (Je vous en dirais plus prochainement)

On peut scraper:

  • Google Trends
  • Similar Web
  • Google Business
  • Airbnb
  • Google Maps
  • Crunch Base
    … et à peu près tous les sites qui chargent leurs données d’une API

Je suis encore éberlué de voir la qualité des données accessibles avec la fonction

Voilà la fonction (en Beta)

10 « J'aime »
2

Excellent merci @Mapi je vais tester ça

3

Super N’hésite pas à me donner ton feedback.
(N’oublie pas c’est encore en beta :wink: )

1 « J'aime »
4

Salut,
Je débute en scrapp et j’aimerai me servir de ton module dans google sheet mais je n’y arrive pas… Pourrais tu nous faire un petit tuto avec ce lien par example ?


Merci !

5

Je t’ai fait un template, mais j’avoue ne pas avoir passé plus de temps à séparer les infos. La page est extrêmement mal structurée et donc ça demande pas mal d’effort pour isoler chaque type de champ.
https://docs.google.com/spreadsheets/d/1MC-oTjZUKzF1AWe9zEz7wI3Z4weSif9GD2dEgo-3mQ0/copy

Je te conseille cet excellent doc pour créer des xPaths robustes:
http://www.cheat-sheets.org/saved-copy/Locators_table_1_0_2.pdf

1 « J'aime »
6

Bonjour, y a t il une limite en terme de requête ou est ce totalement free ? car il semble que pour IMPORT FROM WEB il y ait des limites qui changement régulièrement.

7

Bonjour @Roman,
Oui, les limites ont évolué sur ImportFromWeb. Les produits étant récents, il y a eu pas mal d’ajustements sur les prix. Bref le passage à la maturité!
ImportJSON est totalement gratuit pour parser des JSONs « in-cell » c’est à dire contenus dans une ou plusieurs cellules.
Pour importer depuis des sources externes, la version gratuite permet 10 requêtes par jour.
Pour aller plus loin, voici les plans:

8

Hello
J’ai rempli un form sur le site
A+

9

Bonjour, je suis nouveau je viens de découvrir growthhacking et je n’ai que peu de notion en programmation. J’essaye actuellement de réaliser un tableau de suivi d’indicateur financier d’entreprise (avec historique sur plusieurs années) a partir de différents sites comme Yahoo finance, investing.com mais je n’y arrive pas. Les fonctions importxlm et HTML ne fonctionnent pas sauf sur zone bourse… j’aimerais vraiment récupérer des données complètes sur d’autres sites qui sont dans des tableaux mais j’ai l’impression que pour certains sites il y a des blocages. Ma question est, est ce qu’on peut contourner ces blocages, puis charges directement toutes les données d’un tableau présent sur une page web en une formule, quel est la meilleure solution la plus simple et efficace pour le faire sur Google sheet. Merci.