IdentifiantMot de passe
Loading...
Mot de passe oubli� ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les r�ponses en temps r�el, voter pour les messages, poser vos propres questions et recevoir la newsletter

NoSQL Discussion :

Choix d'outil pour l'analyse de donn�es


Sujet :

NoSQL

  1. #1
    Expert confirm�
    Avatar de sekaijin
    Homme Profil pro
    Urbaniste
    Inscrit en
    Juillet 2004
    Messages
    4 205
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    �ge : 61
    Localisation : France, Yvelines (�le de France)

    Informations professionnelles :
    Activit� : Urbaniste
    Secteur : Sant�

    Informations forums :
    Inscription : Juillet 2004
    Messages : 4 205
    Par d�faut Choix d'outil pour l'analyse de donn�es
    Bonjour

    Je cherche quel outil choisir pour faire des tableaux de bord quotidien, hebdo, mensuel, annuel, etc. sur une base Mongo contenant des "document" d'activit� (qui a fait quoi et quand).
    Chaque document est un ensemble de clefs et valeurs de type time, string, int (des types simples)
    il existe un groupe de clefs communes � tous les documents
    et des clefs d�pendant de l'activit� trac�e.

    Mon besoin est de produire des tableaux de bord g�n�raux (concernant les �l�ments communs dans tous les documents) par exemple un graphe donnant le nombre d��v�nements par minutes, origine, et nature.

    J'ai d�j� ce genre de chose sous oracle, mais le relationnel n'est clairement pas le bon choix. La table des �v�nements ne peut contenir que les colonnes communes, les autres �tant dans une table id parent nom de clef valeur
    la volum�trie est telle que m�me avec des partitions par date origine, etc nous sommes contraints de garder que 12 jours. (on ne refait pas l'histoire)
    Reprendre mon code java qui fait �a � partir d�Oracle pur le faire � partir de mongo n'est et pas un probl�me.

    Mais je pense que ce n'est pas une bonne approche.
    Coder en java des tableaux de bord n'offre pas beaucoup de souplesse.

    Cela ne permet pas de r�pondre � des besoins plus occasionnels
    Si je prends par exemple le circuit de la logistique chaque application impliqu�e va remonter des �v�nements sur sa propre activit� dans tous ces �v�nements s'il concerne une commande il y a un champ N� commande pr�sent

    Il serait int�ressant de pouvoir retracer toutes les activit�s dat�es de toutes les applications qui ont fait quelque chose concernant une commande.

    En temps normal on ne fait pas de tableau de bord pour un �l�ment, mais dans certaines circonstances ...

    Bref des outils d�di�s � analyser les donn�es sont plus en ad�quation avec les besoins occasionnels qui surgissent souvent.
    Le besoin est donc tr�s g�n�ral. Il concerne environ 1000 applications qui travaillent de concert dans des m�tiers tr�s vari�s.

    Le besoin est de pouvoir fournir des tableaux de bord qui montre l'�volution g�n�rale du syst�me, mais aussi de pouvoir extraire des �l�ments tr�s d�taill�s comme tracer le parcours d'un objet.

    Je ne suis pas un sp�cialiste de ce genre d'outils. Le choix de la base n'est pas arr�t�, mais il est clair que pour stoker des paquets de JSON le relationnel n'est pas le plus adapt�.
    La production des donn�es d'�v�nement et leur stockage ne sont absolument pas un probl�me, c'est plut�t le choix des outils d'exploitation qui d�terminera le choix du stockage.

    Merci de votre aide.
    A+JYT

  2. #2
    R�dacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de donn�es / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    22 010
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes C�te d'Azur)

    Informations professionnelles :
    Activit� : Expert bases de donn�es / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 22 010
    Billets dans le blog
    6
    Par d�faut
    As tu essay� sous SQL Server avec des tables in memory ou de l'indexation verticale columstore ?

    J'ai sauv� r�cemment un projet comme cela.

    A +
    Fr�d�ric Brouard - SQLpro - ARCHITECTE DE DONN�ES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : mod�lisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

  3. #3
    Expert confirm�
    Avatar de Mat.M
    Profil pro
    D�veloppeur informatique
    Inscrit en
    Novembre 2006
    Messages
    8 540
    D�tails du profil
    Informations personnelles :
    Localisation : France, Rh�ne (Rh�ne Alpes)

    Informations professionnelles :
    Activit� : D�veloppeur informatique

    Informations forums :
    Inscription : Novembre 2006
    Messages : 8 540
    Par d�faut
    Citation Envoy� par sekaijin Voir le message
    Mais je pense que ce n'est pas une bonne approche.
    Coder en java des tableaux de bord n'offre pas beaucoup de souplesse.
    regarder l'API ODBC et donc JDBC c'est une API tr�s performante.
    Citation Envoy� par sekaijin Voir le message
    Le besoin est donc tr�s g�n�ral. Il concerne environ 1000 applications qui travaillent de concert dans des m�tiers tr�s vari�s.
    il serait temps de fusionner tout cela sous un ERP

  4. #4
    Expert confirm�
    Avatar de sekaijin
    Homme Profil pro
    Urbaniste
    Inscrit en
    Juillet 2004
    Messages
    4 205
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    �ge : 61
    Localisation : France, Yvelines (�le de France)

    Informations professionnelles :
    Activit� : Urbaniste
    Secteur : Sant�

    Informations forums :
    Inscription : Juillet 2004
    Messages : 4 205
    Par d�faut
    bonjour et merci
    sorry pour la r�ponse tardive.

    Il est clair que SQL n'est pas la solution m�me avec des bases en m�moire.

    JDBC est performant mais ce qui bloque ce n'est pas la communications entre le soft et la base c'est la base elle m�me.

    Faire du clef/valeur dans une base relationnelle n'a pas beaucoup de sens. et quand la volum�trie devient gigantesque c'est un frein t�rible.

    Donc le choix du NoSQL sur une base clef::valeur ou document est bien plus pertinante. d�j� � l'�criture nous avons un raport de 1 � 10000 ce qui est logique l� ou ont g�n�re un id pour un insert dans la table principale puis on g�n�re N id pour chaque clef uis on ins�re l'�l�ment dans la table principale puis on ins�re chaque couple clef valeur
    on ins�re 1 document.

    Reste � exploiter les donn�es.

    @Mat.M Je ne connais pas un seul ERP capable de r�mplacer les applications m�tier de touts les m�tiers.

    A+JYT

Discussions similaires

  1. R�ponses: 4
    Dernier message: 03/02/2011, 15h15
  2. [Projet BI] Choix des outils pour un projet BI
    Par Medmidou dans le forum Approche th�orique du d�cisionnel
    R�ponses: 2
    Dernier message: 07/04/2009, 20h06
  3. recherche d'un sujet pour une analyse de donn�e
    Par Sarah! dans le forum Statistiques, Data Mining et Data Science
    R�ponses: 8
    Dernier message: 08/01/2009, 19h18
  4. [REQ] Choix d'outil pour d�v. C sous Windows
    Par emit-fr dans le forum Autres �diteurs
    R�ponses: 2
    Dernier message: 19/12/2008, 09h23
  5. Choix d'outils pour package Web
    Par Paul-nexance dans le forum G�n�ral Conception Web
    R�ponses: 1
    Dernier message: 03/07/2006, 02h24

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo