Certification Hadoop Administrateur de Cloudera
Cette formation de 4 jours permettra aux Administateurs Système ou autres responsables Ops de gèrer des clusters d’Apache Hadoop dans des environnements de production ou des environnements Dev.
Cette formation donne accés à la certification « Certified Administrator for Apache Hadoop (CCAH)» de Cloudera.
40 formations
+20 années d’expérience
+800 participants
99% clients satisfaits
Contenu de la formation
OBJECTIFS
-
- Reposer les bases de l’environnement Hadoop et HDFS
- Poser les bases des clusters Hadoop: choix du matériel, « configuration des noeuds »
- Configurer, déployer et gérer des Clusters : utiliser “Cloudera Manager for Easy Installation”, “Configuration Management Tools”
- Ajout et suppression des « noeuds », rebalancing et optimisation d’un cluster.
- Gestion des ressources : Le “FIFO Scheduler”, Le “FairScheduler”
- Gérer les “Log files” d’Hadoop
- Utiliser le “NameNode” et “Job Tracker Web UI”
- Troubleshooting
- Comment « Benchmarker » son cluster dans le temps
PUBLIC
- Cette formation de 4 jours s’adresse aux administrateurs systèmes et aux personnes qui gèrent et maintiennent les clusters Apache Hadoop en production ou qui évoluent dans un environnement de développement.
PRE-REQUIS
- Il est utile d’avoir une expérience dans l’administration système Linux. Aucune expérience avec Hadoop n’est nécessaire.
- Les postes de travail et les logiciels nécessaires au bon déroulement de la formation sont fournis par formation-bigdata.com.
Introduction – L’argument en faveur d’Apache Hadoop
- Pourquoi Hadoop ?
- Concepts fondamentaux
- Composants Core Hadoop
Installation du cluster Hadoop
- Caractéristiques de Cloudera Manager
- Installation de Cloudera Manager
- Installation de Hadoop (CDH)
Le système de fichiers distribué Hadoop (HDFS)
- Caractéristiques de HDFS
- Ecrire et lire des fichiers
- Gestion de la mémoire du NameNode
- Présentation de la sécurité HDFS
- UI Web pour HDFS
- Utilisation d’Hadoop File Shell
MapReduce et Spark sur YARN
- YARN : le gestionnaire de ressources de cluster
- Concepts MapReduce
- Concepts Apache Spark
- Exécution des traitements sur YARN
- Explorer les applications YARN à travers les interfaces utilisateurs Web et le Shell
- Journaux d’application YARN
Configuration Hadoop et Daemon Logs
- Gestion des configurations avec Cloudera Manager
- Gestion des nœuds et ajout de services
- Configuration du service HDFS
- Configuration des Hadoop Daemon Logs
- Configuration du service YARN
Obtenir des données dans HDFS
- Sqoop : Ingestion des données issues des bases relationnelles
- Interfaces REST
- Les meilleures pratiques pour l’importation des données
Planification de votre cluster Hadoop
- Considérations générales
- Choisir le bon matériel
- Options de virtualisation
- Considérations sur le réseau
- Configurations des nœuds
Installation et configuration de Hive, Impala et Pig
- Hive
- Impala
- Pig
Clients Hadoop incluant Hue
- Les clients Hadoop
- Installation et configuration des clients Hadoop
- Installation et configuration de Hue
- Authentification et autorisation de Hue
Configuration avancée du cluster
- Paramètres de configurations avancés
- Configuration des ports Hadoop
- Data locality : Configuration de HDFS
- Configuration de la haute disponibilité HDFS
Sécurité Hadoop
- Concepts du système de sécurité Hadoop
- Qu’est ce que Kerberos et comment ça marche ?
- Sécurisation d’un cluster Hadoop avec Kerberos
- Autres concepts de sécurité
Gestion des ressources
- Configuration des cgroups
- Le Fair Scheduler
- Configuration du Dynamique Resource Pools
- Configuration de la RAM et CPU pour YARN
- Gestion des requêtes Impala
Maintenance de cluster
- Vérification de l’état HDFS
- Copie de données entre les clusters
- Ajout et suppression de nœuds
- Rebalancing du cluster
- Directory Snapshots
- Montée de version du cluster
Surveillance du cluster et dépannage
- Fonctionnalités de surveillance Cloudera Manager
- Surveillance des clusters Hadoop
- Dépannage des clusters Hadoop
Conclusion
Les plus de la formation
Certification
À la suite de la formation, les stagiaires auront la possibilité de passer l’examen « CCAH Cloudera Certified Administrator ». Cet examen se déroule en dehors du temps de la formation.
Ils deviendront alors des Administrateurs Hadoop certifiés Cloudera dans leur entreprise.
Ces professionnels nous font confiance
Ils témoignent de leurs expériences
“Formation avec beaucoup d’exercice, ce qui simplifie véritablement la compréhension. Encore merci pour le café et les biscuits 🙂 ”
“Tout était clair et facile à comprendre avec beaucoup de patience du prof. La formation m’a apporté une vision d’ingénieur Bi.”
Des formations qui pourraient vous intéresser
Nous vous proposons des formations de qualité, soigneusement préparées par des professionnels.
Ce que nos clients pensent de nous
“Après de sincères et profonds remerciements, je tiens à féliciter notre intervenant et par extension tout ceux qui ont contribué à cette formation, pour l’ apport que ce soit à un niveau personnel ou professionnel.
En effet , cette formation m’a permis non seulement de revisiter certains aspects du Big Data avec une vision nouvelle et plus précise mais également d’assimiler de nombreuses connaissances . Les remarques pertinentes avec les détails pratiques ont permis de bénéficier du recul et de l’expérience de notre formateur.”
” Très bonne formation, ne surtout pas hésiter à partager ses expériences professionnels, que ce soit en terme de projets, de problèmes rencontrés dans le monde de l’entreprise ou encore de questions rencontrées en entretien.
Les plus de cette formation ont été la vision plus large qu’on peut se faire des projets de la vie réelle et des domaines qui accompagne le nôtre (data science), ainsi que de la culture pouvant aider à se démarquer lors d’un entretien. Pour finir, les supports étaient très clairs et les schémas rendaient les idées très simples à comprendre et retenir.”
Newsletter
Retrouvez l’essentiel de l’actualité du Big Data directement par mail !
Les experts de Formation-BigData décortiquent chaque mois l’actualité, les dernières innovations.