Bonjour,

Dans le cadre d'un projet de visualisation de donn�es de capteurs, j'aimerais savoir si le sch�ma ci-joint peut-�tre mise en place ou s'il y a possibilit� de simplifier ? et si oui quels outils (Azure, Firebase ?) sont � privil�gier ?

Voici une description des t�ches :

1 - FTP serveur : contient le fichier .txt correspondant � 1 heure d�enregistrement (1 ligne de donn�e toutes les 10 minutes 🡪 10 lignes de donn�es). Le fichier est �cras� par le nouveau fichier cr�� toutes les 1 heure

2 - Pipeline ETL : - R�cup�rer le fichier journalR.txt du serveur FTP (E : Extract)
- Transformer les donn�es (convertir le fichier en .csv ou .json, nettoyer les donn�es (points mds vers gps, convertir en datetime)) (T : Transform)
- Charger les donn�es transform�s dans la base de donn�es (L : Load)

3 - Planificateur : - Lancer le script python contenant la pipeline ETL tous les pas de temps afin de stocker au fur et � mesure les fichiers arrivant toutes les 1 heure sur le serveur FTP

4 - Base de donn�es : - Stocker tous les fichiers

5 - Grafana ou autres : - Afficher les donn�es de la base de donn�es

Je vous remercie d'avance.