Formation Hadoop Cloudera - Architecture et administration – Centre de formation M2i
M2i Formation

Découvrez notre formationHadoop Cloudera - Architecture et administration

Présentiel

5 jours (35 heures) - BIG-CLDR

Accueil  ›  Formations Informatique  ›  Big Data  ›  Big Data - Infrastructure  ›  Hadoop Cloudera - Architecture et administration

Objectifs pédagogiques

  • Maîtriser l'administration des clusters Cloudera.

Niveau requis

Maîtriser les commandes Shell et avoir des connaissances de base autour des requêtes SQL.

Public concerné

Administrateurs système et consultants SI.

Lille03/02/20203 300 € HTDates proposées dans les agences M2iRéserver
Rouen03/02/20203 300 € HTDates proposées dans les agences M2iRéserver
Nantes03/02/20203 300 € HTDates proposées dans les agences M2iRéserver
Caen03/02/20203 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Jour 1

Introduction

  • Big Data et Hadoop
  • Architecture solution
  • NoSQL

Installation d'un cluster Cloudera

  • Cluster : vue d'ensemble
  • Justification d'une solution de gestion de cluster
  • Caractéristiques du Cloudera Manager
  • Installation du Cloudera Manager

Exemple de travaux pratiques (à titre indicatif)

  • Installation de Hadoop (CDH)

Jour 2

Gestion des utilisateurs

  • Gestion des utilisateurs et des groupes avec Cloudera Manager

Configuration des services Hadoop via Cloudera Manager

  • Configuration des services
  • Surveillance et maintenance des services

Exemple de travaux pratiques (à titre indicatif)

  • Mise en situation d'une configuration, surveillance et maintenance des services Hadoop

Le système de fichiers distribués Hadoop (HDFS)

  • Fonctionnalités HDFS
  • Ecriture et lecture de fichiers
  • Considérations relatives à la mémoire NameNode
  • Vue d'ensemble de la sécurité HDFS
  • IU Web pour HDFS
  • Utilisation de Hadoop File Shell

Exemple de travaux pratiques (à titre indicatif)

  • Manipulation des fichiers via HDFS

Jour 3

MapReduce et Spark avec YARN

  • Le rôle des frameworks de calcul
  • YARN : gestion des ressources du cluster
  • Concepts du MapReduce
  • Concepts d'Apache Spark
  • Exécution de frameworks de calcul sur YARN
  • Exploration des applications YARN via l'interface Web et Shell
  • Logs applicatifs YARN

Configuration de Hadoop et Daemon Logs

  • Outil Cloudera Manager de gestion des configurations
  • Localisation des configurations
  • Changements de configuration
  • Gestion des instances de rôles
  • Ajout de services

Configuration du service HDFS

  • Configuration des journaux Hadoop Daemon
  • Configuration du service YARN
  • Ingestion de données dans HDFS
  • Ingestion de données à partir de sources externes avec Flume
  • Ingestion de données à partir de bases de données relationnelles avec Sqoop Interfaces REST
  • Bonnes pratiques pour l'importation de données

Planification du cluster Hadoop

  • Considérations générales relatives à la planification
  • Choisir le bon matériel
  • Options de virtualisation
  • Considérations sur le réseau
  • Configuration des noeuds

Jour 4

Installation et configuration de Hive de l'Impala et Pig

  • Hive
  • Impala
  • Pig

Clients Hadoop avec Hue

  • Installation et configuration des clients Hadoop
  • Installation et configuration de la teinte
  • Authentification et autorisation Hue

Configuration avancée du cluster

  • Paramètres de configuration avancés
  • Configuration des ports Hadoop
  • Configuration de HDFS pour la sensibilisation au rack
  • Configuration de haute disponibilité HDFS

Sécurité Hadoop

  • Importance de la sécurité Hadoop
  • Concepts du système de sécurité de Hadoop
  • Présentation et fonctionnement de Kerberos
  • Sécurisation d'un cluster Hadoop avec Kerberos
  • Autres concepts de sécurité

Jour 5

Gestion des ressources

  • Configuration des Cgroups avec les pools de services statiques
  • Planification des ressources
  • Configuration des pools de ressources dynamiques
  • Mémoire YARN et paramètres du CPU
  • Planification de requêtes Impala

Entretien du cluster

  • Vérification de l'état HDFS
  • Copier les données entre clusters
  • Ajout et suppression de noeuds de cluster
  • Rééquilibrage du cluster snapshots de répertoires
  • Mise à niveau du cluster

Surveillance et dépannage du cluster

  • Fonctionnalités de surveillance du Cloudera Manager
  • Surveillance des clusters Hadoop
  • Dépannage des clusters Hadoop

Complétez votre formation