Java pour Hadoop2018-08-03T16:58:26+00:00

Java Pour Hadoop

Hadoop est un framwork libre et open source écrit en Java destiné à la création d’applications distribuées et scalables. Hadoop a été inspiré par les publications de MapReduce et GoogleFS de Google et fait partie des projets de la fondation Apache depuis 2009.
Hadoop est le framework Big Data le plus largement utilisé dans le monde. Il regroupe un ensemble d’outils répondant à un très grand nombre de cas d’usages tels que le stockage et la gestion des données, la sécurité, la sérialisation, l’analyse, etc. Hadoop est utilisé chez un très grand nombre d’entreprises à l’instar des géants de l’IT Facebook, Yahoo, LinKedIn, Amazon, eBay, etc.

99% clients satisfaits

+15 années d’éxperience

15 formations

+200 participants

Contenu de la formation

Objectifs  

Dans cette formation vous allez apprendre :

  • L’architecture générale de Hadoop.
  • Le système de fichier distribué de Hadoop (HDFS) et le système de gestion des ressources et des tâches YARN.
  • Comment créer des applications distribuées avec Java en se basant sur le paradigme MapReduce.
  • La création de types de données personnalisés et de fonctions sur mesure pour remplacer les fonctions par défaut de Hadoop (Ex. Split, Shuffle, Sort, Group, etc).
  • L’interaction avec HBase -la base de données de Hadoop- à l’aide d’un client Java.
  • L’extension d’outils de l’écosystème Hadoop tel que Pig, Hive, etc à l’aide des UDF (User Defined Functions) codées en Java.

Public 

  • Développeurs Big Data, Architectes Big Data, data scientists, chefs de projet, ingénieurs d’études.

Pré-requis 

  • Une bonne connaissance du langage Java est requise.

Fondamentaux de Hadoop 

  • Historique de Hadoop.
  • Hadoop 2.X vs Hadoop 0/1.X
  • Le paradigme de programmation parallèle et distribuée MapReduce.
  • Le système de fichier distribué de Hadoop HDFS.
  • Le système de gestion de ressources et de tâches YARN.

La création d’applications MapReduce

  • Anatomie d’une application MapReduce.
  • Fonctionnement d’un Job MapReduce.
  • Illustration avec un exemple simple.
  • Développement de programmes MapReduce.

Les types d’entrées sorties

  • Récapitulatifs des formats d’entrée et de sortie standards MapReduce.
  • Création d’Input Formats et d’Output Formats personnalisés.

Optimisation des Jobs MapReduce

  • Optimisation des différentes phases d’un Job MapReduce.
  • Utilisation de la compression des données.
  • Illustration de la différence entre les différents formats de stockage des données (sequence files, text files, Avro, etc).

Fonctionnalités avancées de MapReduce

  • Jointures, compteurs et tri avec MapReduce.
  • Aggrégation avec MapReduce : utilisation des combiners.

Test d’applications MapReduce

  • Les tests unitaires avec la librairie MRUnit.
  • Exécution d’une application MapReduce.
  • Débogage et logs.

Programmation HBase

  • Architecture et fondamentaux de HBase.
  • Shell HBase.
  • Développement d’une application Java pour l’interaction avec HBase.

Programmation Hive

  • Fondamentaux de Hive.
  • Différents types de tables Hive.
  • Le langage HQL.
  • Extension du langage HQL à l’aide d’UDFs dévelopées en Java.

Programmation Pig

  • Fondamentaux de Pig.
  • Les principales fonctions de Pig.
  • Extension du langage Pig Latin à l’aide d’UDFs dévelopées en Java.

Automatisation et orchestration des traitements avec Oozie

  • Fondamentaux d’Oozie.
  • Création de Workflows Oozie pour des traitements Java MapReduce, Pig, Hive et HBase.
  • Créaation de Coordinators Oozie pour l’ordonnancement des Workflows.

Les plus de la formation

Les formateurs sont des experts techniques et business en activité travaillant pour de grands comptes sur des projets à fortes valeurs ajoutées liés au Big Data. Les stagiaires pourront bénéficier de leurs expertises et de leurs retours d’expériences. Le but n’est pas de présenter les technologies Big Data comme une solution miracle. Nous partagerons aussi les difficultés rencontrées par nos experts lors de leurs mises en œuvre.

Nous vous offrirons également un kit d’outils et de documents qui vous permettront d’être autonome en disposant d’un environnement Big Data avec tout l’écosystème nécessaire pour travailler sur vos propres PC.

La formation s’appuie sur de nombreux cas pratiques inspirés de cas d’usages réels rencontrés par nos experts en entreprise.

Java pour Hadoop

  Code : 007

  Prix : 2100€ (HT)

  Prix Repas: 35 €

  Durée: 4 jours

  Lieu : Paris


Sessions 2018

14/05/2018

Inscription

Ces professionnels nous font confiance

Ils témoignent de leurs expériences

“Formation avec beaucoup d’exercice, ce qui simplifie véritablement la compréhension. Encore merci pour le café et les biscuits 🙂  ”

Sebastien M

“Tout était clair et facile à comprendre avec beaucoup de patience du prof. La formation m’a apporté une vision d’ingénieur Bi.”

Zahojun H

Des formations qui pourraient vous intéresser

Nous vous proposons des formations de qualité, soigneusement préparées par des professionnels.

Ce que nos clients pensent de nous

“Après de sincères et profonds remerciements, je tiens à féliciter notre intervenant et par extension tout ceux qui ont contribué à cette formation, pour l’ apport que ce soit à un niveau personnel ou professionnel.
En effet , cette formation m’a permis non seulement de revisiter certains aspects  du Big Data avec une vision nouvelle et plus précise mais également d’assimiler de nombreuses connaissances . Les remarques pertinentes avec les détails pratiques ont permis de bénéficier du recul et de l’expérience de notre formateur.”

Mehdi Z

” Très bonne formation, ne surtout pas hésiter à partager ses expériences professionnels, que ce soit en terme de projets, de problèmes rencontrés dans le monde de l’entreprise ou encore de questions rencontrées en entretien.
Les plus de cette formation ont été la vision plus large qu’on peut se faire des projets de la vie réelle et des domaines qui accompagne le nôtre (data science), ainsi que de la culture pouvant aider à se démarquer lors d’un entretien. Pour finir, les supports étaient très clairs et les schémas rendaient les idées très simples à comprendre et retenir.”

Alexandre T

Newsletter

Retrouvez l’essentiel de l’actualité du Big Data directement par mail !

Les experts de Formation-BigData décortiquent chaque mois l’actualité, les dernières innovations.