Consultant Big Data 10 jours

La mission d’un consultant développeur Big Data consiste à capter, contrôler, nettoyer, manipuler, explorer et analyser les données pour en extraire de la valeur.

Ce cursus permet aux stagiaires d’acquérir des savoir-faire opérationnels notamment dans la programmation parallèle, le temps réel et la maîtrise d’écosystèmes distribués tel Hadoop et Spark.

Cette formation a été pensée par des experts business et techniques en ayant le souci d’accorder une large partie du contenu pédagogique aux problématiques opérationnelles rencontrées en entreprise.

La capacité à saisir les enjeux et les compétences techniques acquises lors de cette formation permettent de répondre à une demande de plus en plus croissante sur le marché de l’emploi.

99% clients satisfaits

+15 années d’éxperience

15 formations

+200 participants

Contenu de la formation

OBJECTIFS

  • Comprendre les enjeux autour de la data. Intégrer les fondamentaux et les limites d’une solution décisionnelle.
  • Comprendre les enjeux de la transformation numérique et les nouvelles sources d’information générant de la valeur.
  • Comprendre les fondamentaux  du Big data
  • Identifier la plateforme technologique et les outils de l’écosystème Hadoop sur lesquels s’appuyer en fonction des cas d’usage?
  • Apprendre à développer des applications et à analyser un grand nombre de données avec Apache Hadoop 2.x et Spark
  • Maîtriser la programmation distribuée avec les principaux langages Big Data : shell, java et scala.
  • Développer des applications temps réel avec Kafka et spark streaming
  • Maîtriser l’utilisation de l’écosystème HADOOP : HDFS, MapReduce, HIVESqoop ,Flume, HBASE, PIG, Spark

PUBLIC

  • Minimum Bac+4, Ingénieur en reconversion.

PRE-REQUIS

  • Aucune connaissance sur Hadoop n’est requise.
  • Des compétences en algorithmique et dans un langage de programmation sont un plus.

[/fusion_title]

Présentation du BIG DATA

  • Définition du BIG Data
  • Les 5 dimensions du BIG DATA
  • Les sources de données et l’open data
  • Améliorer les résultats de l’entreprise grâce au BIG DATA
  • Uses Case et les applications du big data en entreprise
  • Les “nouveaux” métiers du Big Data

Big Data vs Business Intelligence

  • Rappel de l’architecture de la BI et ses limites
  • Définiton du Data Lake
  • Architecure du BIG DATA
  • Big Data dans le cloud
  • Choix de solution Big Data cloud
  • Les limites du big data

La gouvernance des données

 

  • Garantir la qualité et la valeur des informations d’une entreprise
  • Le cadre juridique des données, la GDPR

 Développement des applications avec Hadoop 

  • Comprendre Hadoop
  • L’historique de Hadoop
  • Architecture et écosystème Hadoop
  • Les distributions ( Cloudera, HortonWorks, MapR)

Stockage des données dans HADOOP 

  • Le Hadoop Distributed File System (HDFS)
  • Introduction aux données dans HDFS
  • MapReduce Framework et YARN
  • Cas pratiques

Import et export de données avec Sqoop et Flume 

  • Introduction à SQOOP / FLUME
  • Injection de données dans Hadoop
  • Cas pratiques

Manipulation de la base de données HIVE 

  • Présentation Hive
  • Programmation Hive
  • Utilisation de HCatalog
  • Programmation de Hive avancée
  • Cas pratiques

Base de données NOSQL : HBASE 

  • Introduction aux bases de données NOSQL
  • Présentation de HBASE
  • Les commandes shell de HBASE, création de tables, manipulation, insertion et sélection des données
  • Présentation de l’API java pour HBase
  • Cas pratiques

Le langage PIG latin 

  • Introduction à Pig
  • Transformation de données avec Pig
  • Programmation Pig avancée
  • Cas pratiques

Automatisation et industrialisation des développements avec Oozie 

  • Définition workflow avec Oozie
  • Configuration de Oozie pour definir des workflow et coordonner des taches( Shell, Java, Hive, Pig …)
  • Configurer Oozie pour envoyer des alertes mails.
  • Configurer les fréquences des chaines grâce à l’ordonnanceur Oozie.
  • Analyse des logs et gestion des relances des workflows
  • Cas pratiques

Gestion des événements en temps réel avec Kafka 

Kafka en pratique

  • Présentation de Kafka
  • L’intérêt de Kafka Apache
  • Les fondamentaux de Kafka
  • L’architecture de Kafka
  • Développer avec Kafka : Ajout/supression d’un topic, modification d’un topic, l’arrêt progressif, etc.
  • Le développement avancé avec Kafka
  • Kafka Connect pour la mobilité des données
  • L’installation et l’administration de Kafka
  • Kafka dans un Data Center
  • Un introduction à Kafka Streams pour la gestion des données.
  • Cas pratiques

Développement avec Spark ( 5 jours )

 

Apache Spark les bases

  • Qu’est ce que Apache Spark ?
  • Utiliser le Shell de Spark RDD
  • Programmation fonctionnelle au sein de Spark
  • Travailler avec les RDDCréer des RDD
  • Opérations principales avec les RDD
  • Agrégation des données avec les pair RDD Key-value Pair RDD
  • Map Reduce
  • Autres opérations avec les Pair-RDD
  • Ecrire et exécuter des applications Spark
  • Spark Shell versus Spark Application
  • Création du Spark Context
  • Construction d’un application Spark
  • Lancement d’une application Spark
  • Web UI relatives à Spark
  • Configuration des applications Spark
  • Propriétés de configuration de Spark
  • Gestion des log
  • Exécution distribuée
  • Spark en exécution sur un cluster
  • Partition des RDD
  • Partition des RDD basés sur des fichiers « Data Locality” sur HDFS
  • Exécution des opérations en parallèle
  • Persistance des RDD
  • Cycle de vie d’un RDD
  • Persistance d’un RDD
  • Persistance distribuée
  • DataFrame et Apache Spark SQL
  • Apache Spark SQL et le SQL Context
  • Création des Dataframes
  • Transformer et requêter un Dataframe
  • Persister un Dataframe
  • Dataframes et RDD
  • Comparaison entre Spark SQL, Impala et Hive On Spark
  • Apache Spark Streaming: Introduction DStream
  • Présentation de Apache Spark Streaming
  • Exemple de cas d’utilisation temps réel
  • DStreams
  • Développement d’application temps réel
  • Cas pratiques : Mise en place d’une chaine spark

Les plus de la formation

Toutes les thématiques techniques abordées font l’objet de cas pratiques illustrant des problématiques rencontrées en entreprise.

Les formateurs sont des experts techniques et business en activité travaillant pour des grands comptes sur des projets Big Data à fortes valeurs ajoutées.
Les stagiaires pourront bénéficier de leurs retours d’expériences. Le but n’est pas de présenter les technologies Big Data comme une solution miracle.
Nous partagerons aussi les difficultés rencontrées par nos experts lors de leurs mises en œuvre.
Nous vous offrirons également un kit d’outils et de documents qui vous permettront d’être autonome en disposant d’un environnement Big Data avec tout l’écosystème nécessaire pour travailler sur vos propres PC.
 

Consultant Big Data 10 j

  Code : FBDH10J

  Prix Public : 6500€ (HT)

  Prix demandeur d’emploi: 2500€ (HT)

  Prix Repas: 35 €

  Durée: 10 jours

  Lieu : Paris


Sessions

16/02/2019

15/06/2019

16/11/2019

Ces professionnels nous font confiance

Ils témoignent de leurs expériences

“Formation avec beaucoup d’exercice, ce qui simplifie véritablement la compréhension. Encore merci pour le café et les biscuits 🙂  ”

Sebastien M

“Tout était clair et facile à comprendre avec beaucoup de patience du prof. La formation m’a apporté une vision d’ingénieur Bi.”

Zahojun H

Des formations qui pourraient vous intéresser

Nous vous proposons des formations de qualité, soigneusement préparées par des professionnels.

Ce que nos clients pensent de nous

“Après de sincères et profonds remerciements, je tiens à féliciter notre intervenant et par extension tout ceux qui ont contribué à cette formation, pour l’ apport que ce soit à un niveau personnel ou professionnel.
En effet , cette formation m’a permis non seulement de revisiter certains aspects  du Big Data avec une vision nouvelle et plus précise mais également d’assimiler de nombreuses connaissances . Les remarques pertinentes avec les détails pratiques ont permis de bénéficier du recul et de l’expérience de notre formateur.”

Mehdi Z

” Très bonne formation, ne surtout pas hésiter à partager ses expériences professionnels, que ce soit en terme de projets, de problèmes rencontrés dans le monde de l’entreprise ou encore de questions rencontrées en entretien.
Les plus de cette formation ont été la vision plus large qu’on peut se faire des projets de la vie réelle et des domaines qui accompagne le nôtre (data science), ainsi que de la culture pouvant aider à se démarquer lors d’un entretien. Pour finir, les supports étaient très clairs et les schémas rendaient les idées très simples à comprendre et retenir.”

Alexandre T

Newsletter

Retrouvez l’essentiel de l’actualité du Big Data directement par mail !

Les experts de Formation-BigData décortiquent chaque mois l’actualité, les dernières innovations.