Les commandes HDFS

Les commandes les plus utilisées : Créer un dossier dans HDFS :

Commande :

hadoop fs -mkdir 

Exemple :

hadoop fs -mkdir /user/monDossier

hadoop fs -mkdir /user/monDossier1  /user/monDossier2  /user/monDossier3

L’option -p est nécessaire si le dossier parent n’existe pas lors de la création d’un sous répertoire.

Lister le contenu d’un dossier:

Commande :

hadoop fs -ls 

Exemple :

hadoop fs -ls /user

hadoop fs -ls /user/monDossier

Charger un ou plusieurs fichiers du local à HDFS:

Commande :

hadoop fs -put  

Exemple :

hadoop fs -put /home/monFichier.txt /user/monDossier

Exporter un ou plusieurs fichiers de HDFS au local:

Commande:

hadoop fs -get  

Exemple :

hadoop fs -get /user/monDossier/monFichier.txt /home

Copier un ou plusieurs fichiers dans HDFS:

Commande :

hadoop fs -cp   

Exemple :

hadoop fs -cp /user/monDossier1/monFichier.txt  /user/monDossier2

Déplacer un ou plusieurs fichiers dans HDFS:

Commande :

hadoop fs -mv   

Exemple :

hadoop fs -mv /user/monDossier1/monFichier.txt  /user/monDossier2

Charger un ou plusieurs fichiers du local à HDFS: Cette commande est similaire à -put

Commande :

hadoop fs -copyFromLocal  

Exemple :

hadoop fs -copyFromLocal /home/monFichier.txt /user/monDossier

Exporter un ou plusieurs fichiers de HDFS au local:

Commande:

hadoop fs -copyToLocal  

Exemple :

hadoop fs -copyToLocal /user/monDossier/monFichier.txt /home

Cette commande est similaire à -get Afficher le contenu d’un fichier:

Commande:

hadoop fs -cat <Path[Filename]>

Exemple :

hadoop fs -cat /user/monFichier.txt

Afficher les dernières lignes d’un fichier:

Commande :

hadoop fs -tail <Path[Filename]>

Exemple :

hadoop fs -tail /user/monFichier.txt

Supprimer un fichier dans HDFS:

Commande :

hadoop fs -rm 

Exemple :

hadoop fs -rm /user/monFichier.txt

Suppression récursive dans HDFS:

Commande :

hadoop fs -rmr 

Exemple :

hadoop fs -rmr /user/

Tableau récapitulatif des commandes HDFS  

Import/export de fichier entre HDFS et le local
-put
-get
-copyFromLocal
-copyToLocal
Déplacer les fichiers
-cp
-mv
-moveFromLocal
-moveToLocal
Lister le contenu d’un fichier/répertoire
-ls
-lsr
Afficher le contenu d’un fichier
-cat
-tail
Supprimer le contenu d’un fichier/répertoire
-rm
-rmr
Créer un fichier vide
-touchz
Modification des permissions
-chmod
-chown
-chgrp
Statistique
-stat

  Pour voir la description d’une commande  ainsi que ses paramètres il faut utiliser la commande suivante :

Commande:

hadoop fs -help 

Exemple:

hadoop fs -help stat

Résultat:

-stat [format]  … :

Print statistics about the file/directory at  in the specified format.

Format accepts filesize in blocks (%b), group name of owner(%g), filename (%n),

block size (%o), replication (%r), user name of owner(%u), modification date   (%y, %Y)

Newsletter

Retrouvez l’essentiel de l’actualité du Big Data directement par mail !

Les experts de Formation-BigData décortiquent chaque mois l’actualité, les dernières innovations.