M2i Formation

Big Data - Big Data - Infrastructure

Cloudera

Présentiel

5 jours (35 heures) - BIG-CLDR

Accueil  ›  Formations Informatique  ›  Big Data  ›  Big Data - Infrastructure  ›  Cloudera

Objectifs pédagogiques

  • Maîtriser l'administration des Clusters Cloudera.

Niveau requis

Maîtriser les commandes Shell.

Public concerné

Administrateurs système, consultants SI.

Paris Picpus20/08/20183 300 € HTDates proposées dans les agences M2iRéserver

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Metz20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Mulhouse20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Nancy20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Reims20/08/20183 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Caen20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Évreux20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Le Havre20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Lille20/08/20183 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Dijon20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Grenoble20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Lyon20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Saint-Étienne20/08/20183 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Bordeaux20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Orléans20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Tours20/08/20183 300 € HTDates proposées dans les agences M2iRéserver

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Aix-en-Provence20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Montpellier20/08/20183 300 € HTDates proposées dans les agences M2iRéserver
Sophia Antipolis20/08/20183 300 € HTDates proposées dans les agences M2iRéserver

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Introduction

  • Présentation de Hadoop
  • Concepts fondamentaux
  • Composants Hadoop Core

Installation de Hadoop Cluster

  • Justification d'une solution de gestion de Cluster
  • Caractéristiques du Cloudera Manager
  • Installation du Cloudera Manager
  • Installation de Hadoop (CDH)

Le système de fichiers distribués Hadoop (HDFS)

  • Fonctionnalités HDFS
  • Ecriture et lecture de fichiers
  • Considérations relatives à la mémoire NameNode
  • Vue d'ensemble de la sécurité HDFS
  • IU Web pour HDFS
  • Utilisation de Hadoop File Shell

MapReduce et Spark avec YARN

  • Le rôle des frameworks de calcul
  • YARN : gestion des ressources du Cluster
  • Concepts du MapReduce
  • Concepts d'Apache Spark
  • Exécution de frameworks de calcul sur YARN
  • Exploration des applications YARN via l'interface Web et Shell
  • Logs applicatifs YARN

Configuration de Hadoop et Daemon Logs

  • Outil Cloudera Manager de gestion des configurations
  • Localisation des configurations
  • Changements de configuration
  • Gestion des instances de rôles
  • Ajout de services

Configuration du service HDFS

  • Configuration des journaux Hadoop Daemon
  • Configuration du service YARN
  • Ingestion de données dans HDFS
  • Ingestion de données à partir de sources externes avec Flume
  • Ingestion de données à partir de bases de données relationnelles avec Sqoop Interfaces REST
  • Bonnes pratiques pour l'importation de données

Planification du Cluster Hadoop

  • Considérations générales relatives à la planification
  • Choisir le bon matériel
  • Options de virtualisation
  • Considérations sur le réseau
  • Configuration des noeuds

Installation et configuration de Hive de l'Impala et Pig

  • Hive
  • Impala
  • Pig

Clients Hadoop avec Hue

  • Installation et configuration des clients Hadoop
  • Installation et configuration de la teinte
  • Authentification et autorisation Hue

Configuration avancée du Cluster

  • Paramètres de configuration avancés
  • Configuration des ports Hadoop
  • Configuration de HDFS pour la sensibilisation au rack
  • Configuration de haute disponibilité HDFS

Sécurité Hadoop

  • Importance de la sécurité Hadoop
  • Concepts du système de sécurité de Hadoop
  • Présentation et fonctionnement de Kerberos
  • Sécurisation d'un Cluster Hadoop avec Kerberos
  • Autres concepts de sécurité

Gestion des ressources

  • Configuration des Cgroups avec les pools de services statiques
  • Planification des ressources
  • Configuration des pools de ressources dynamiques
  • Mémoire YARN et paramètres du CPU
  • Planification de requêtes Impala

Entretien du Cluster

  • Vérification de l'état HDFS
  • Copier les données entre Clusters
  • Ajout et suppression de noeuds de Cluster
  • Rééquilibrage du Cluster snapshots de répertoires
  • Mise à niveau du Cluster

Surveillance et dépannage du Cluster

  • Fonctionnalités de surveillance du Cloudera Manager
  • Surveillance des Clusters Hadoop
  • Dépannage des Clusters Hadoop