Tutoriel pour d�couvrir Hadoop

Bonjour,

Je suis une nouvelle sur Hadoop, et j'ai lu durant ces 3 derniers jours pas mal de tuto sur Hadoop. et j'ai l'impression que tout est melang� l� dans ma t�te.
La qestion qui m'intrigue l�, c'est que Le Framework Hadoop est install� dans une seule machine du cluster ? � savoir le head node? ou bien dans une autre machine?

Merci de m"eclairer cette id�e

Hadoop peut s'installer sur une seule machine, comme les sandbox des grandes distribution pour apprendre, mais son objet principal et de supporter dans un mode cluster
des milliers de nodes/serveur ou les donn�es seront distribu�s, pour permettre un traitement de parallelisme sur l'ensemble des noeuds pour ramener les donn�es,
paradoxalement si le volume de donn�es n'est pas assez important, les solutions classiques suffisent.

les disques sont partag�es, les configurations sont synchronis�es sur chacun des nodes par divers m�thodes, nfs, sync � partir d'une m�me source ou sauvegarde.

on peut utiliser le scp d'une machine source pour copier vers les autre noeuds, j'utilise ca parce que j'ai un petit cluster.

avec des milliers de pc il faut automatiser les publication sur les noeuds avec rsync par exemple (remote synchronisation), qui va rafraichir les fichiers sur les noeuds, c est int�gr� dans les distributions.

exemple, rsync va rafraichir les fichiers hadoop (programme,config) sur hadoopslave1 et hadoopslave2 � partir du master ou d'une source ou sauvegarde

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
Update the directory of master nodes of Hadoop cluster
## To edit file, fire the below given command
hduser@HadoopMaster:/usr/local/hadoop/etc/hadoop$ sudo gedit masters

## Add name of master nodes
HadoopMaster
Update slaves

Update the directory of slave nodes of Hadoop cluster
## To edit file, fire the below given command
hduser@HadoopMaster:/usr/local/hadoop/etc/hadoop$ sudo gedit slaves

## Add name of slave nodes
HadoopSlave1
HadoopSlave2
Copying/Sharing/Distributing Hadoop config files to rest all nodes � master/slaves

Use rsync for distributing configured Hadoop source among rest of nodes via network.
# In HadoopSlave1 machine
sudo rsync -avxP /usr/local/hadoop/ hduser@HadoopSlave1:/usr/local/hadoop/

# In HadoopSlave2 machine
sudo rsync -avxP /usr/local/hadoop/ hduser@HadoopSlave2:/usr/local/hadoop/
The above command will share the files stored within hadoop folder to Slave nodes with location � /usr/local/hadoop. So, you dont need to again download as well as setup the above configuration in rest of all nodes. You just need Java and rsync to be installed over all nodes. And this JAVA_HOME path need to be matched with $HADOOP_HOME/etc/hadoop/hadoop-env.sh file of your Hadoop distribution which we had already configured in Single node Hadoop configuration.

https://technique.arscenic.org/trans...ion-distant-de

Il ne faut pas s'attendre � apprendre hadoop et son ecosysteme en 3 jours, m�me avec une formation, c''est un travail d'apprentissage continu qui n�cessite du temps et de la t�nacit� surtout quand on se heurte � des murs sur plusieurs semaines et qu'on dispose tr�s peu d'information ou de d'�change, je suis loin d'avoir boucl� le sujet, meme si ca va mieux apr�s quelques mois de gal�re, ou je ne comprenais rien, mais petit � petit, le puzzle s'assemble...