IdentifiantMot de passe
Loading...
Mot de passe oubli� ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les r�ponses en temps r�el, voter pour les messages, poser vos propres questions et recevoir la newsletter

Outils BI Discussion :

Probl�me chargement une table Teradata en batch avec fast load


Sujet :

Outils BI

  1. #1
    Membre �clair�
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Juillet 2013
    Messages
    37
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    �ge : 45
    Localisation : France, Paris (�le de France)

    Informations professionnelles :
    Activit� : Consultant en Business Intelligence
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2013
    Messages : 37
    Par d�faut Probl�me chargement une table Teradata en batch avec fast load
    Bonjour � tous, j'ep�re que je vais �tre clair.
    J'ai un probl�me de chargement d'une table de sas vers TERADATA avec l'option de table FASTLOAD.
    Le contexte,
    - Si je charge la table en interactif (� partir de sas Guide) cela fonctionne .
    Code : S�lectionner tout - Visualiser dans une fen�tre � part
    1
    2
    3
    4
    5
    6
    	proc sql ; 
    		drop table knbsas.test_load;
    		create table knbsas.test_load (fastload=yes) as 
    					select name ,sex, age 
    						from sashelp.class;
    	quit;
    J'ai un warning pour la suppression puisque la table n'existe pas.(cela ne me pose pas probl�me)

    - si maintenant je passe ce programme en batch (mode planifi�),
    Je re�ois un warning pour la suppression et une error de ce genre.


    WARNING: Le fichier KNBSAS.test_load.DATA n'existe pas.
    WARNING: Table KNBSAS.test_load n'a pas �t� supprim�e.
    ERROR: Teradata connection: Could Not Find Message Catalog opermsgs.cat Correct error and restart as an APPEND process with option
    TPT_RESTART=YES. Since no checkpoints were taken, if the previous run used FIRSTOBS=n, use the same value in the restart.
    WARNING: La suppression du fichier KNBSAS.test_load.DATA a �chou�.
    Si par contre j'enl�ve l'option fastload, je n'ai aucune erreur.

    Code : S�lectionner tout - Visualiser dans une fen�tre � part
    1
    2
    3
    4
    5
     
    proc sql;
            		create table knbsas.test_load /*(fastload=yes)*/ as
            					select name ,sex, age
           						from sashelp.class;
    NOTE: Table KNBSAS.test_load created, with 19 rows and 3 columns.


    En cherchant sur internet, j'obtiens quelque chose de ce genre

    Got it by adding the following to our SAS startup scripts:
    export NLSPATH=/opt/teradata/client/14.10/tbuild/msg64/opermsgs.cat;

    Cependant, moi je travaille en client server et je n'ai aucun contr�le sur les fichiers de config ou autre,*
    Est ce que quelqu'un peut-il m'�claircir?
    Merci d'avance � tous.

  2. #2
    Membre �m�rite
    Avatar de Stackware
    Homme Profil pro
    ArchiDuc de la Sasserie
    Inscrit en
    Juillet 2013
    Messages
    439
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (�le de France)

    Informations professionnelles :
    Activit� : ArchiDuc de la Sasserie
    Secteur : Conseil

    Informations forums :
    Inscription : Juillet 2013
    Messages : 439
    Billets dans le blog
    4
    Par d�faut
    Bonjour,
    Le param�trage indiqu� s'applique si tu as du SAS base sur ton poste et que tu travailles avec. Si tu travailles sur un compute distant, c'est sur ce serveur que le param�trage doit �tre fait.
    En utilisant le fastload, la m�thode d'acc�s � TD n'est plus la m�me, ce qui explique le comportement diff�rent.
    Y a t-il une possibilit� de remplacer "create table" par "create or replace table"?

  3. #3
    Membre �clair�
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Juillet 2013
    Messages
    37
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    �ge : 45
    Localisation : France, Paris (�le de France)

    Informations professionnelles :
    Activit� : Consultant en Business Intelligence
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2013
    Messages : 37
    Par d�faut TERADATA et SPDS
    Bonjour Stackware
    le probl�me est r�solu et pour ceux que cela int�resse, c'est l'installation de TERADATA PARALLEL TRANSPORTER qui manquait � installer pour les traitement en batch,
    C'est du cot� server que cela est fait.


    J'ai une question sur le SPDS si vous me le permettez,
    dans ma nouvelle mission, je travaille en client server (sas guide, SPDS).
    J'ai une question, quant j'essaye de lire une table qui contient 170 colonne et 55 millions de lignes cela prend environ 15 minutes
    est ce c'est un temps acceptable?, j'ai aussi essay� le passthrough vers SPDS mais j'ai remarqu� que je n'obtiens pas de meilleurs performances.
    Est ce qu'il existe une option ou astuce pour obtenir de meilleurs performance?
    Merci

  4. #4
    Mod�rateur

    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    F�vrier 2011
    Messages
    1 625
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activit� : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : F�vrier 2011
    Messages : 1 625
    Par d�faut
    Salut,
    Index + Partitionnement et peut �tre compression ?
    N'oubliez pas de consulter les FAQ SAS et les cours et tutoriels SAS
    N'oubliez pas de mettre votre message � si la solution donn�e r�sout votre probl�me

  5. #5
    Membre �clair�
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Juillet 2013
    Messages
    37
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    �ge : 45
    Localisation : France, Paris (�le de France)

    Informations professionnelles :
    Activit� : Consultant en Business Intelligence
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2013
    Messages : 37
    Par d�faut SAS SPDS
    Bonjour Sam,
    En fait, (index et compress) ok, pour la partition,
    Je mets l'option partsize =1028 ou 4000 mais je ne vois pas de diff�rence, en plus de cela moi je ne sais pas si du niveau server, ils ont cr�e les fichiers de partitionnement,
    moi ce que je veux savoir, est ce que du c�t� Client, je peux optimiser quelques chose?
    Merci d'avance.

  6. #6
    Membre �m�rite
    Avatar de Stackware
    Homme Profil pro
    ArchiDuc de la Sasserie
    Inscrit en
    Juillet 2013
    Messages
    439
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (�le de France)

    Informations professionnelles :
    Activit� : ArchiDuc de la Sasserie
    Secteur : Conseil

    Informations forums :
    Inscription : Juillet 2013
    Messages : 439
    Billets dans le blog
    4
    Par d�faut
    Salut,
    Je pense qu'apr�s avoir lu ce white paper, tu seras incollable sur le sujet

  7. #7
    Membre �clair�
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Juillet 2013
    Messages
    37
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    �ge : 45
    Localisation : France, Paris (�le de France)

    Informations professionnelles :
    Activit� : Consultant en Business Intelligence
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2013
    Messages : 37
    Par d�faut
    Merci beaucoup,

+ R�pondre � la discussion
Cette discussion est r�solue.

Discussions similaires

  1. R�ponses: 4
    Dernier message: 06/02/2020, 13h52
  2. Changer le nom d'une table sur SQL server avec une requete
    Par Oluha dans le forum MS SQL Server
    R�ponses: 6
    Dernier message: 01/02/2014, 23h35
  3. [Conception] Enregistrement d'une table dans un txt avec mise en page
    Par sephirothmana dans le forum PHP & Base de donn�es
    R�ponses: 3
    Dernier message: 28/06/2006, 13h55
  4. creation d'une table dans MS Access avec jdbc
    Par dalio2579 dans le forum Langage
    R�ponses: 1
    Dernier message: 01/06/2006, 14h55
  5. Ajouter un enregitrement a une table vide en VBA avec access
    Par Mateache dans le forum VBA Access
    R�ponses: 4
    Dernier message: 03/01/2006, 15h36

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo