fff

Combien de stagiaires suivront cette formation ?


Valider Annuler

Accueil    Formations    Informatique    Big Data    Big Data - Administration et infrastructure    Hadoop Cloudera - Administration

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Objectifs de formation

A l'issue de cette formation, vous serez capable de :

  • Reconnaître les principes du framework Hadoop, l'installer et le configurer
  • Mettre en oeuvre la configuration et la gestion des services avec Cloudera Manager.

Modalités, méthodes et moyens pédagogiques

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).

Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).

Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :

  • Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
  • Environnements de formation installés sur les postes de travail ou en ligne
  • Supports de cours et exercices

En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.

* nous consulter pour la faisabilité en distanciel

** ratio variable selon le cours suivi

Prérequis

Avoir connaissance des commandes des systèmes Unix / Linux.

Public concerné

Chefs de projets, administrateurs et toute personne souhaitant mettre en oeuvre un système distribué avec Hadoop.

Programme

Introduction

  • Les fonctionnalités du framework Hadoop
    • Les différentes versions
  • Distributions : Apache, Cloudera, Hortonworks, EMR, MapR, DSE
  • Spécificités de chaque distribution
  • Architecture et principe de fonctionnement
  • Terminologie : NameNode, DataNode, ResourceManager, NodeManager
    • Rôle des différents composants
    • Le projet et les modules : Hadoop Common, HDFS, Yarn, Spark, MapReduce, Hue, Oozie, Hive, HBase, Zeppelin...

Les outils Hadoop

  • Infrastructure / mise en oeuvre : Avro, Ambari, Zookeeper, Tez, Oozie
    • Vue d'ensemble
    • Gestion des données
    • Exemple de sqoop
  • Restitution : WebHDFS, Hive, Hawq, Mahout, ElasticSearch...
  • Outils complémentaires
    • De traitement : Spark, SparkQL, Spark ML, Storm, Big Top, Zebra
    • De développement : Cascading, Scalding, Flink
    • D'analyse : RHadoop, Hama, Chukwa, Kafka

Installation et configuration

  • Présentation de Cloudera Manager
  • Installation en mode distribué
  • Configuration de l'environnement et étude des fichiers de configuration
    • Core-site.xml
    • Hdfs-site.xml
    • Mapredsite.xml
    • Yarn-site.xml
    • Capacity-scheduler.xml
  • Création des utilisateurs pour les daemons HDFS et Yarn, droits d'accès sur les exécutables et répertoires
  • Lancement des services
    • Démarrage des composants : HDFS, Hadoop Daemon, Yarn Daemon...
  • Gestion de la grappe et différentes méthodes : ligne de commandes, API Rest, serveur HTTP intégré, API natives
  • Exemples en ligne de commandes avec HDFS, Yarn, mapred
    • Présentation des fonctions offertes par le serveur HTTP
  • Traitement de données
    • Requêtage SQL avec Hive et Impala

Exemples de travaux pratiques (à titre indicatif)

  • Ateliers : organisation et configuration d'une grappe Hadoop avec Cloudera Manager

Administration Hadoop

  • Outils complémentaires à Yarn et HDFS : jConsole, jConsole Yarn
    • Exemples sur le suivi de charges, l'analyse des journaux
  • Principe de gestion des noeuds
  • Principe des accès JMX
    • Démonstration avec Prométheus
  • Administration HDFS : présentation des outils de stockage des fichiers, fsck, dfsadmin
  • Mise en oeuvre sur des exemples simples de récupération de fichiers
    • Gestion centralisée de caches avec Cacheadmin
  • Gestion de la file d'attente, paramétrage, Capacity Scheduler

Haute disponibilité

  • Mise en place de la haute disponibilité sur une distribution Cloudera
  • Explication d'une fédération de cluster Hadoop et les intérêts

Exemple de travaux pratiques (à titre indicatif)

  • Atelier : passage d'un système HDFS en mode HA

Sécurité

  • Mécanismes de sécurité et mise en oeuvre pratique de la sécurité avec Kerberos

Exemples de travaux pratiques (à titre indicatif)

  • Ateliers :
    • Mise en place de la sécurité Kerberos sur une distribution Cloudera
    • Création des utilisateurs
    • Travaux sur les droits d'accès et les droits d'exécution
    • Impact au niveau des files Yarn

Exploitation

  • Installation d'une grappe Hadoop
    • Lancement des services
    • Principe de la supervision des éléments par le NodeManager
  • Monitoring graphique avec Cloudera Manager
  • Configuration des logs avec log4j

Exemple de travaux pratiques (à titre indicatif)

  • Atelier : visualisation des alertes en cas d'indisponibilité d'un noeud

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

  • Analyse des résultats individuels produits par chaque participant lors des travaux pratiques, correction au fur et à mesure du déroulé de la formation
  • Réalisation d'un test complet sur un projet global de fin de formation, et analyse par le consultant formateur
  • Un QCM individuel d'évaluation des acquis est proposé en fin de chaque session

Les + de la formation

Cette formation ne peut être animée que via notre Partenaire Phirio (anciennement Pythagore).

Les travaux pratiques sont réalisés sur une distribution Hadoop Cloudera.

Accessibilité de la formation

Le groupe M2i s'engage pour faciliter l'accessibilité de ses formations. Les détails de l'accueil des personnes en situation de handicap sont consultables sur la page Accueil et Handicap.

Modalités et délais d’accès à la formation

Les formations M2i sont disponibles selon les modalités proposées sur la page programme. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Dans le cas d'une formation financée par le CPF, ce délai est porté à 11 jours ouvrés.

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Vous souhaitez suivre cette formation ?

Cette formation est disponible en présentiel ou en classe à distance, avec un programme et une qualité pédagogique identiques.

Choisissez la modalité souhaitée pour vous inscrire :

Formation disponible en intra-entreprise

Votre société a besoin d'une offre personnalisée ? Contactez-nous

Découvrez les autres formations susceptibles de vous intéresser :

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.

Contactez-nous