Architecte Big Data
99% clients satisfaits
+15 années d’éxperience
15 formations
+200 participants
Contenu de la formation
OBJECTIFS
- Maîtrise des aspects fondamentaux du Big Data
- Maîtrise des éléments clés liés aux architectures des SI
- Pouvoir proposer des architectures modernes, sur mesures, répondant aux besoins du client
- Comprendre les différents cas d’usages du Big Data et les outils correspondants
- Avoir une idée globale sur les différents outils et Frameworks Big Data et avoir un aspect critique qui permet de choisir le meilleur outil pour chaque cas d’usage
- Mettre en pratique les connaissances acquises dans le cours sur des problématiques réelles que nos experts ont rencontrées et rencontrent au sein de l’entreprise.
PUBLIC
- Architectes SI, développeurs Big Data, chefs de projets, DBA.
PRE-REQUIS
- Aucune connaissance sur les technologies Big Data n’est requise.
- Des connaissances en architecture SI et en conception de Bases de données serait un plus.
Comprendre le BIG Data
- Introduction (Jeu : Donnez un titre aux images)
- De la donnée au Big Data (l’histoire de Google qui compare un grain de riz à un octet)
- Quelles avancées technologiques ont permis l’avènement du Big Data
- Quelles évolutions comportementales ont accéléré l’avènement du Big Data
- Les définitions du Big Data
- Les 5V du Big Data
- Quelles sont les sources de données ?
Connaissance du métier de l’architecte Big Data
- A la découverte du métier d’architecte Big Data
- Compétences et qualités requises
- Missions et responsabilités de l’architecte Big Data
Les questions clés que l’architecte Big Data doit se poser
- Limites des architectures classiques
- La nouvelles architecture big data et son impact sur le SI
- Quel est le cycle de vie de la donnée ? Par quelles transformations passe-t-elle ? Comment la gouverner ?
- Quelles sont les principaux modèles d’architecture d’un SI Big Data ? C’est quoi le “Data Lake” ?
- Le data lake : une nouvelle philosophie pour le stockage et le traitement de la donnée
- Les avantages du data lake et centralisation des données
- Comment dimensionner l’infrastructure et mesurer la scalabilité du système ?
- C’est quoi le cycle de vie d’un projet Big Data ?
- Cas d’usage, mise en situation
Le Cadre juridique des données et la CNIL
- Comprendre le champ d’application, les règles et les sanctions concernant la protection des données personnelles
- Les obligations légales des entreprises (anonymisation, droit à l’oubli)
- Comment concilier Big Data et réglementation CNIL ?
- Le nouveau règlement européen sur la protection des données personnelle applicable à partir du 25 mai 2018
- Cas d’usage / succès stories / retours d’expérience par secteurs et métiers
Les bases de données NOSQL
- L’origine du NOSQL
- Définition du NOSQL
- ACID ( SQL ) vs CAP ( Big Data )
- Les différentes Bases de données NoSQL ( Clé, Valeur, Clé colonne, Orientée document, Base graphe )
- Classification des bases de données NoSQL selon leurs types et leurs cas d’usages
- Zoom sur Hbase, Cassandra et MongoDB
Formats de données
- CSV
- XML
- Json
- Avro
- Parquet
- RestFull et les API
- Couche Confluent Kafka
Panorama des outils Big Data
- Quand utiliser Hadoop ?
- Le paradigme MapReduce.
- Le système de gestion des fichiers distribués HDFS
- Echange de données via Sqoop, Flume, Kafka
- Analyse des donnéees avec Pig et Hive
- Ordonnanceur Hadoop : Oozie
- Moteur de recherche : Solr, ElasticSearch
- Spark : framework de calcul distribué in memory
- La place des ETL & ELT dans le big data ainsi que leurs avantages.
- Zoom sur les ETL Informatica, Talend, ODI
Types d’architectures big data selon les exigences temporelles
- Architectures Batch
- Architectures Streaming
- Lambda Architectures
- Architecture réactive
- Quelques exemples d’architectures (google, linkedin, netflix,…)
- Les infrastructures dans l’air du temps
- Nutanix
- BDA
- Gammes de serveurs chez HP, DELL,…
- Le cloud (amazon EMC, Microsoft azure, OVH)
- Les distributions (Cloudera, Hortonworks)
NIFI dataflow
- Pourquoi nous besoin d’accélérer la collecte de big data et de la gestion des flux de données
- Qu’est-ce que NIFI DataFlow ?
- Avantages de NIFI DataFlow
- Fonctionnalités de NIFI DataFlow
- Applications courantes de NIFI DataFlow
- Accélération de la collecte de big data et de la gestion des flux de données
- Démonstration
La sécurité et la gouvernance de données
- Dix signes d’alerte dont vous avez besoin pour mieux gérer la gouvernance et la sécurité des données
- Que faire si vous identifiez ces signes d’avertissement
- La sécurité et le contrôle d’accès Kerberos & Knox
- Atlas et Ranger pour la sécurité et la gouvernance
Les éléments indispensables dans un projet Big data
- Comment passer d’un POC à un cas d’usage industriel, les éléments à prendre en compte et les erreurs à ne pas faire.
- Comment passer les cas d’usage en production et MCO ( Maintien en conditions opérationnelles )
- L’intérêt de la mise en place du DévOps et l’intégration continue dans les projets Big data
- Panorama sur les outils DévOps ( Gitlab, Ansible, Jenkins..)
Conclusion
- Quelques livres
- Vos impressions
- Et après ?
Les plus de la formation
Les formateurs sont des experts techniques et business en activité travaillant pour de grands comptes sur des projets à fortes valeurs ajoutées liés au Big Data. Les stagiaires pourront bénéficier de leurs expertises et de leurs retours d’expériences. Le but n’est pas de présenter les technologies Big Data comme une solution miracle. Nous partagerons aussi les difficultés rencontrées par nos experts lors de leurs mises en œuvre.
Nous vous offrirons également un kit d’outils et de documents qui vous permettront d’être autonome en disposant d’un environnement Big Data avec tout l’écosystème nécessaire pour travailler sur vos propres PC.
La formation s’appuie sur de nombreux cas pratiques inspirés de cas d’usages réels rencontrés par nos experts en entreprise.
Ces professionnels nous font confiance
Ils témoignent de leurs expériences
“Formation avec beaucoup d’exercice, ce qui simplifie véritablement la compréhension. Encore merci pour le café et les biscuits 🙂 ”
“Tout était clair et facile à comprendre avec beaucoup de patience du prof. La formation m’a apporté une vision d’ingénieur Bi.”
Des formations qui pourraient vous intéresser
Nous vous proposons des formations de qualité, soigneusement préparées par des professionnels.
Ce que nos clients pensent de nous
“Après de sincères et profonds remerciements, je tiens à féliciter notre intervenant et par extension tout ceux qui ont contribué à cette formation, pour l’ apport que ce soit à un niveau personnel ou professionnel.
En effet , cette formation m’a permis non seulement de revisiter certains aspects du Big Data avec une vision nouvelle et plus précise mais également d’assimiler de nombreuses connaissances . Les remarques pertinentes avec les détails pratiques ont permis de bénéficier du recul et de l’expérience de notre formateur.”
” Très bonne formation, ne surtout pas hésiter à partager ses expériences professionnels, que ce soit en terme de projets, de problèmes rencontrés dans le monde de l’entreprise ou encore de questions rencontrées en entretien.
Les plus de cette formation ont été la vision plus large qu’on peut se faire des projets de la vie réelle et des domaines qui accompagne le nôtre (data science), ainsi que de la culture pouvant aider à se démarquer lors d’un entretien. Pour finir, les supports étaient très clairs et les schémas rendaient les idées très simples à comprendre et retenir.”
Newsletter
Retrouvez l’essentiel de l’actualité du Big Data directement par mail !
Les experts de Formation-BigData décortiquent chaque mois l’actualité, les dernières innovations.