Les fondamentaux du Big data, Enjeux et perspective

2 Jours

• La définition du big data
• Les origines du bigdata
• Les facteurs d’évolution du bigdata
• Le marché big data
• Les principaux cas d’usages d’analytiques
• Les freins et les challenges de sécurité, juridiques et techniques
• Les impacts du bigdata sur l’entreprise
• Les impacts organisationnels
• Le projet big data et les technologies fondamentales des solutions
• Bilan et perspectives

Développer des applications Apache Hadoop avec Java

4 jours

• Introduction Apache Hadoop.
• Stockage des données avec HDFS.
• Mise en place des traitements MapReduce.
• YARN : Gestion des ressources du cluster.
• Apache Hive : Manipulation des données en mode batch.
• Apache Sqoop : Transfert des données (Hadoop~Bases de données)
• OOZIE : Gestionnaire de workflow Hadoop

Développer des applications pour Apache Spark avec Python ou Java

4 jours

• Introduction Apache Spark
• Créer des applications Spark
• Mise en place des traitements Batch avec Spark
• Programmation avancées Spark
• Exploration de données avec Zeppelin
• Spark SQL
• Mise en place des traitements temps réel avec Spark Streaming
• SparkMLib

Conception et développement Hbase

2 jours

 

• Introduction aux bases NoSQl
• Architecture Hbase
• La conception des schémas Hbase
• Lecture et écriture dans Hbase
• Stockage dans Hbase
• Accès aux données via API Hbase
• Cluster Hbase
• La réplication et la sauvegarde dans Hbase

Gestion des données avec la stack ELASTIC

3 jours

• Introduction a la stack ELASTIC
• Stockage des données avec ELASTIC
• Récupération des données avec LOGSTASH
• Visualisation des données avec KIBANA
• Gestion d’un cluster Elastic

Les bases de l’administration d’une plateforme Hadoop

(Hortonworks ou Cloudera)

4 jours

• Introduction à la plateforme Hortonworks ou cloudera
• Gestion des utilisateurs via (ambari ou clouderamanager)
• Gestion des services du cluster
• Gestion du Stockage HDFS
• Gestion des ressources d’un cluster
• Gestion des nœuds d’un cluster
• Surveillance d’un cluster
• Sécurité d’un cluster
• Mise en place d’un cluster

Architecture BigData

2 jours

• Introduction patterns d’architecture BigData
• Architecture temps différé
• Architecture temps réel
• Architecture lambda
• Construire une architecture efficace

Kafka pour développeurs

2 jours

• Introduction à Kafka
• Architecture de Kafka
• Développer avec Kafka
• Installation d’un cluster Kafka
• Administration d’un cluster Kafka
• Kafka streams pour la gestion de données

Fondamentaux DevOps

2 jours

• Introduction à DevOps
• Objectif de DevOps
• Méthode DevOps
• Architecture et patterns
• L’infrastructure par le code
• Construction et déploiement continu
• Retour d’expérience

Concevoir et piloter un projet BigData

2 jours

• L’importance des environnements techniques
• L’importance du cycle de vie des données, des données de référence, et de la gouvernance
• Faire cohabiter des données structurées et non structurées
• Différences entre les projets Data Warehouse et Big Data
• Choisir les bons outils de stockage des données
• Évaluer et anticiper la croissance du volume de données
• Évaluer et anticiper les besoins d’évolutions des architectures réseaux
• Aspects légaux et éthiques : que peut-on collecter, stocker, analyser
• Retour d’expérience

Machine learning

3 jours

• Introduction au machine learning
• L’exemple des modèles linéaires
• Les grands types d’apprentissage
• Généralités sur les modèles prédictifs
• Vers les modèles plus complexes
• Panorama des principaux modèles prédictifs
• Les réseaux de neurones et le Deep Learning
• L’apprentissage non supervisé
• Technologies, Big Data et mise en production

Gouvernance, qualité et traitement des données

2 jours

• La donnée en tant que matière première
• De la qualité à la qualité de la donnée ?
• Big Data, Données, qualité et stratégie d’entreprise
• Problématiques d’alignement de la qualité de la donnée avec les usages métiers
• Les différentes sources de données de l’entreprise, de l’Internet, des objets connectés
• Les différentes formes d’exploitation de données
• Système d’information opérationnel
• Système d’information décisionnel
• Big Data et smart Data

Restituer des analyses Big Data par la mise en récit des données avec Tableau Software

3 Jours

• Data StoryTelling pour la restitution de données
• Etre en mesure de concevoir un modèle de documents répondant aux attentes de l’entreprise, en fonction du sujet analysé
• Maîtriser une méthode simple et efficace de restitution de données
• Connaître la grammaire graphique et savoir sélectionner le bon graphique pour représenter la bonne donnée
• Savoir bâtir un schéma narratif qui captive votre auditoire et renforce la crédibilité de vos analyses
• Maîtriser les outils de Tableau Software pour restituer les résultats

Méthode Agile

2 Jours

• Introduction à la méthode agile
• Définition de l’agilité
• L’opposition des cycles V vs Agile
• Comprendre Scrum
• Les rôles et les responsabilités
• Mettre en place l’agilité
• Les rituels de l’agilité
• Retour d’expérience

ELT avec TalendBigData

3 Jours

 

• Prise en main de Talend Studio basics
• Intégration des données
• Manipulation et transformation des données
• Gestion des workflows
• Exécutions des jobs
• Présentation de Talend Open Studio for Big Data
• Mise en oeuvre de HDFS, HBase et Hcatalog
• Effectuer des traitements à l’aide de Pig
• Exploiter Hive
• Autres aspects couverts par Talend for Big Data

Projet Fil Rouge

10 Jours

Projet à construire ensemble selon l’orientation du client

• Mettre en place une plateforme BigData
• Mettre en place une architecture polyglotte pour répondre aux usages streaming et batch
• Construire les traitements de nettoyage et intégration
• Mettre en place un outil pour la visualisation des données
• Automatisation des traitements
• Mettre en place le processus d’intégration continu

Programme adaptable en fonction des profils et des besoins

Cas pratiques inspirés des problématiques identifiées au sein de clients grands comptes