M2i Formation

Découvrez notre formationMicrosoft HDInsight - Amélioration de la Data Engineering

Présentiel

5 jours (35 heures) - MS20775

Accueil  ›  Formations Informatique  ›  Big Data  ›  Data Analysis  ›  Microsoft HDInsight - Amélioration de la Data Engineering

Objectifs pédagogiques

  • Déployer les clusters HDInsight
  • Autoriser les utilisateurs à accéder aux ressources
  • Charger les données dans HDInsight
  • Dépanner HDInsight
  • Mettre en oeuvre les solutions Batch
  • Concevoir les solutions de Batch ETL pour la Big Data avec Spark
  • Analyser les données avec Spark SQL
  • Analyser les données avec Hive et Phoenix
  • Décrire l'analyse de flux
  • Mettre en oeuvre l'analyse de flux via l'API DStream
  • Développer des solutions de traitement de Big Data en temps réel avec Apache Storm
  • Créer des solutions utilisant Kafka et HBase.

Niveau requis

Avoir une expérience dans la programmation via R. Posséder des connaissances sur les méthodes statistiques courantes et les meilleures pratiques d'analyse des données. La connaissance du système d'exploitation Windows et ses fonctionnalités principales ainsi que des bases de données relationnelles est recommandée.

Public concerné

Architectes de données, Data Scientists et développeurs.

Partenaire / éditeur


Cette formation est éligible au CPF : code unique 236056

Formation éligible au financement suivant :
BSA

La Défense13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
La Défense18/11/20193 300 € HTDates proposées dans les agences M2iRéserver

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Formation éligible au financement suivant :
BSA

Metz13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Mulhouse13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Nancy13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Reims13/05/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Formation éligible au financement suivant :
BSA

Caen13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Évreux13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Le Havre13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Lille13/05/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Formation éligible au financement suivant :
BSA

Dijon13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Grenoble13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Lyon13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Saint-Étienne13/05/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Formation éligible au financement suivant :
BSA

Bordeaux13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Orléans13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Tours13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Bordeaux18/11/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Formation éligible au financement suivant :
BSA

Aix-en-Provence13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Montpellier13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Sophia Antipolis13/05/20193 300 € HTDates proposées dans les agences M2iRéserver
Aix-en-Provence18/11/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Certification : 70-775 (+ 200€)

Introduction

  • Qu'est-ce que le Big Data ?
  • Présentation d'Hadoop
  • Travailler avec la fonction MapReduce
  • Introduction à HDInsight

Déploiement des clusters HDInsight

  • Identifier les types de clusters HDInsight
  • Gérer les clusters HDInsight via le portail Azure
  • Gérer les clusters HDINsight via Azure Powershell

Autorisation des utilisateurs

  • Accéder aux ressources
  • Clusters non joints aux domaines
  • Configurer les clusters HDInsight joints aux domaines
  • Gérer les clusters HDInsight joints aux domaines

Chargement des données dans HDInsight

  • Stockage des données pour le traitement HDInsight
  • Utiliser les outils de chargement des données
  • Valoriser les données stockées

Dépannage d'HDInsight

  • Analyser les journaux HDInsight
  • Journaux YARN
  • Dump de tas (Heap Dump)
  • Operations Management Suite

Mettre en oeuvre les solutions Batch

  • Stockage Apache Hive
  • Requêtes de données HDInsight via Hive et Pig
  • Mise en oeuvre d'HDInsight

Conception des solutions Batch ETL

  • Qu'est-ce que Spark ?
  • ETL avec Spark
  • Performance de Spark

Analyse des données avec Spark SQL

  • Mettre en oeuvre des requêtes itératives et interactives
  • Réaliser des analyses de données exploratoires

Analyse des données avec Hive et Phoenix

  • Mettre en oeuvre les requêtes interactives pour le Big Data avec Hive interactif
  • Réaliser des analyses de données exploratoires via Hive
  • Réaliser un traitement interactif via Apache Phoenix

Analyse de flux

  • Process de diffusion des données à partir de l'analyse de flux
  • Gérer les travaux d'analyse de flux

Mettre en oeuvre les solutions de diffusion avec Kafka et HBase

  • Créer et déployer un cluster Kafka
  • Publier, consommer et traiter les données via le cluster Kafka
  • Utiliser HBase pour stocker des données et effectuer des requêtes

Développement des solutions de traitement Big Data en temps réel

  • Conserver des données à long terme
  • Flux de données avec Storm
  • Créer des topologies Storm

Création des applications Spark Streaming

  • Travailler avec Spark Streaming
  • Créer des applications structurées Spark Streaming
  • Stockage et visualisation

Les + de la formation

L'examen de certification est en anglais. Attention, ce dernier sera supprimé par Microsoft au 30/06/2019.

En cliquant le bouton « Accepter », vous acceptez l’utilisation de cookies pour réaliser des mesures d’audiences et vous permettre d’enregistrer vos préférences de navigation. En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies.

Accepter Paramètres En savoir plus