Gestion de bases de données scrapées

Bonjour à tous !

Je rencontre un problème de gestion de base de données. Je m’explique…

J’aimerais pouvoir compiler tous les fichiers skrappés dans une solution qui me permettrait rapidement de faire de nouveaux ciblages.

Connaissez-vous une meilleure solution qu’Excel/Google Sheet ? En effet j’ai peur que ça devienne vite le bordel avec ce type de solution…

Comment faites-vous de votre coté ? Qu’avez-vous mis en place ? Connaissez-vous une solution que permette cela ?

Un grand merci pou votre aide :))

Hello @Nath1
Est-ce que tes fichiers comportent une URL Linkedin de profil d’individus ?
:v:

Hello @Mihai,

Mes fichiers skrapés sur Linkedin ont en effet l’url du profil, mais pas les autres fichiers.

Je crois que http://baserow.io/ répondrait à ton besoin. C’est GSheet on steroïds (fonctionne au-delà des 50K lignes d’Airtable).

3 J'aime

ca fait un peu penser à Notion également

1 J'aime

Précision concernant Baserow : dans la version cloud, c’est limité à 20mb and 5000 rows. Et la version self-hosted tient finalement pas si bien la charge. ça rame à partir de 200-300 000 lignes.

Du coup, je vais me tourner vers Elasticsearch pour la gestion de gros datasets.

1 J'aime

Hello @plandoin, j’en avais parlé dans un autre post (de Elasticsearch) , mais je n’ai jamais eu l’occasion d’essayer, tu pourras me dire si c’est fluide en termes de mise en place et à l’utilisation ?
Merci :blush:

1 J'aime

En résumé, Elasticsearch est difficile à installer (nécessite des compétences devops) mais ensuite c’est relativement facile à utiliser, même pour un « citizen developer ». L’interface a le même niveau de complexité qu’un PhpMyAdmin ou un MS Access par exemple.

2 J'aime

Un grand merci pou vos retours ! Je vais tout regarder !

Un SQL tout simple ou un Mysql ferait bien l’affaire.

Elastic search c’est vraiment l’artillerie lourde.
Je ne sais pas ce que tu veux faire exactement de tes fichiers, comment vas tu faire tes recherches, etc…est ce que ce sera souvent modifié ou pas du tout, à quelle fréquence ?

Ça demande des compétences de « dev » pour écrire els requetes. Une db sql ou mongo te suffira largement, mais sql ce sera largement moins cher et sans compétences de dev tu auras de meilleurs résultats en sql.

J’utilise un logiciel de base de données : Claris FileMaker Pro

Peut être dans une voie un peu plus techos, monter un serveur postgresql avec GitHub - nocodb/nocodb: 🔥 🔥 The Open Source Airtable alternative. en front (c’est un airtable complètement open source) donc sans limite d’entrée, la seul limitation sera la puissance de ton serveur (et il y en a pour toute les bourses). Je ne sais pas si tu es technique ou as des personnes techniques sous la main mais si c’est le cas ça peut être une bonne solution (ou peut être voir pour un freelance, c’est relativement accessible et peu de maintenance à prévoir une fois setup)

1 J'aime

Hello,
L’idée est de pouvoir sélectionner différents critères (fonction, secteur, etc) pour pouvoir refaire des campagnes. Je confirme ne pas avoir de compétences de dev, donc je cherche un outil « prêt à l’emploi » !

En fonction du stade ou tu en es, ça peut devenir intéressant de regarder du coté des CDPs (Hull, Segment), tu peux y intégrer tous tes scrapers, tes outils marketing, avoir une bonne base consolidée et l’utiliser pour segmenter, analyser, lancer de nouvelles campagnes…

Sinon une bonne BDD et un peu de SQL font l’affaire

Hello @Nath1 ,

Tu as des fichiers de combien de lignes ?
Tu veux pouvoir merger/join plusieurs listings pour facilement naviguer et faire des recherches dans le listing consolidé c’est ça ? :slight_smile:

C’est une super question
C’est vrai que c’est pas simple…

Une autre question, comment faire pour merge deux fichiers automatiquement sur Integromat.

Par exemple : J’ai une ligne qui s’ajoute dans un spreadsheet et si une cellule d’une colonne prédéfinie match avec une cellule d’une autre colonne prédéfinie dans un autre sheet alors ça les fusionne dans un troisième sheet.

J’avoue être un peu bloqué, si un expert du sujet passe par là je suis preneur :pray:

Pas la réponse que tu attendais précisément @Thomas_Solo, mais je suis tombé là-dessus et ça m’a fait penser à ta problématique :