IdentifiantMot de passe
Loading...
Mot de passe oubli� ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les r�ponses en temps r�el, voter pour les messages, poser vos propres questions et recevoir la newsletter

Big Data Discussion :

Conseil conception et choix d'outils


Sujet :

Big Data

  1. #1
    Membre �clair� Avatar de declencher
    Inscrit en
    Mai 2003
    Messages
    441
    D�tails du profil
    Informations forums :
    Inscription : Mai 2003
    Messages : 441
    Par d�faut Conseil conception et choix d'outils
    Salut tout le monde,

    Je ne sais pas si je suis dans la bonne cat�gorie, alors je me lance et on verra

    Par le pass�, j'ai travaill� sur l'anc�tre du Big Data : je faisais de la BI. Donc j'ai �t� �lev� au SQL, aux SGBD, puis aux datamart. J'ai ensuite chang� de type de projet, et je me suis �loign� du monde de la data.

    J'ai un petit projet que j'aimerai prototyper. J'ai un outil que me g�n�re des logs au format CSV avec 5 champs classiques (date, nom d'un user, action...) et un champ json contenant notamment une IP.

    Avant de charger ces donn�es dans un outil, j'aimerai les "transformer" :
    - ajouter un champ � chaque enregistrement (sur le principe de la relation 1-n), ce champ contiendrait le num�ro du serveur � l'origine de la log.
    - anonymiser les IP
    - tokeniser les emails (�ventuellement)


    C�t� analyse, j'aimerai pouvoir r�aliser des �tudes simples sur ces donn�es : g�olocalisation des IP pour d�terminer des anomalies, statistiques sur les actions de chaque user, analyse chronologique des �v�nements, simulation de r�gle du jeu (Si j'accordais un point � un user pour telle action, quel serait son score au bout de 3 mois et qui gagnerait...).

    Quelles solution ou piles de solutions me conseilleriez-vous pour ce prototype ? Est-ce qu'une suite ELK serait adapt�e par exemple ?

    Merci d'avance pour votre avis �clair� sur le sujet.

  2. #2
    Membre �clair� Avatar de declencher
    Inscrit en
    Mai 2003
    Messages
    441
    D�tails du profil
    Informations forums :
    Inscription : Mai 2003
    Messages : 441
    Par d�faut
    Je vais prototyper avec la suite ELK voir si �a peut r�pondre � mon besoin. Si quelqu'un passe par l� et a une alternative plus int�ressante, je suis preneur

Discussions similaires

  1. R�ponses: 1
    Dernier message: 07/03/2018, 18h45
  2. R�ponses: 4
    Dernier message: 14/08/2015, 13h53
  3. [impression] conseil pour choix d'outil
    Par trolldom dans le forum Visual Studio
    R�ponses: 4
    Dernier message: 16/08/2007, 21h49
  4. R�ponses: 2
    Dernier message: 27/04/2006, 08h26
  5. Choix d'outil et langage de d�veloppement
    Par HPJ dans le forum D�bats sur le d�veloppement - Le Best Of
    R�ponses: 19
    Dernier message: 07/12/2003, 20h06

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo