M2i Formation

Hadoop Cloudera - Administration

Big Data - Big Data - Infrastructure

Présentiel

5 jours (35 heures) - BIG-CLDR

Accueil  ›  Formations Informatique  ›  Big Data  ›  Big Data - Infrastructure  ›  Hadoop Cloudera - Administration

Objectifs pédagogiques

  • Maîtriser l'administration des Clusters Cloudera.

Niveau requis

Maîtriser les commandes Shell.

Public concerné

Administrateurs système, consultants SI.

La Défense04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
La Défense22/07/20193 300 € HTDates proposées dans les agences M2iRéserver

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Metz04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Mulhouse04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Nancy04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Reims04/03/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Caen04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Évreux04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Le Havre04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Lille04/03/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Dijon04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Grenoble04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Lyon04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Saint-Étienne04/03/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Bordeaux04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Orléans04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Tours04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Bordeaux22/07/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Aix-en-Provence04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Montpellier04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Sophia Antipolis04/03/20193 300 € HTDates proposées dans les agences M2iRéserver
Aix-en-Provence22/07/20193 300 € HTDates proposées dans les agences M2iRéserver

Afficher plus de dates

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Introduction

  • Présentation de Hadoop
  • Concepts fondamentaux
  • Composants Hadoop Core

Installation de Hadoop Cluster

  • Justification d'une solution de gestion de Cluster
  • Caractéristiques du Cloudera Manager
  • Installation du Cloudera Manager
  • Installation de Hadoop (CDH)

Le système de fichiers distribués Hadoop (HDFS)

  • Fonctionnalités HDFS
  • Ecriture et lecture de fichiers
  • Considérations relatives à la mémoire NameNode
  • Vue d'ensemble de la sécurité HDFS
  • IU Web pour HDFS
  • Utilisation de Hadoop File Shell

MapReduce et Spark avec YARN

  • Le rôle des frameworks de calcul
  • YARN : gestion des ressources du Cluster
  • Concepts du MapReduce
  • Concepts d'Apache Spark
  • Exécution de frameworks de calcul sur YARN
  • Exploration des applications YARN via l'interface Web et Shell
  • Logs applicatifs YARN

Configuration de Hadoop et Daemon Logs

  • Outil Cloudera Manager de gestion des configurations
  • Localisation des configurations
  • Changements de configuration
  • Gestion des instances de rôles
  • Ajout de services

Configuration du service HDFS

  • Configuration des journaux Hadoop Daemon
  • Configuration du service YARN
  • Ingestion de données dans HDFS
  • Ingestion de données à partir de sources externes avec Flume
  • Ingestion de données à partir de bases de données relationnelles avec Sqoop Interfaces REST
  • Bonnes pratiques pour l'importation de données

Planification du Cluster Hadoop

  • Considérations générales relatives à la planification
  • Choisir le bon matériel
  • Options de virtualisation
  • Considérations sur le réseau
  • Configuration des noeuds

Installation et configuration de Hive de l'Impala et Pig

  • Hive
  • Impala
  • Pig

Clients Hadoop avec Hue

  • Installation et configuration des clients Hadoop
  • Installation et configuration de la teinte
  • Authentification et autorisation Hue

Configuration avancée du Cluster

  • Paramètres de configuration avancés
  • Configuration des ports Hadoop
  • Configuration de HDFS pour la sensibilisation au rack
  • Configuration de haute disponibilité HDFS

Sécurité Hadoop

  • Importance de la sécurité Hadoop
  • Concepts du système de sécurité de Hadoop
  • Présentation et fonctionnement de Kerberos
  • Sécurisation d'un Cluster Hadoop avec Kerberos
  • Autres concepts de sécurité

Gestion des ressources

  • Configuration des Cgroups avec les pools de services statiques
  • Planification des ressources
  • Configuration des pools de ressources dynamiques
  • Mémoire YARN et paramètres du CPU
  • Planification de requêtes Impala

Entretien du Cluster

  • Vérification de l'état HDFS
  • Copier les données entre Clusters
  • Ajout et suppression de noeuds de Cluster
  • Rééquilibrage du Cluster snapshots de répertoires
  • Mise à niveau du Cluster

Surveillance et dépannage du Cluster

  • Fonctionnalités de surveillance du Cloudera Manager
  • Surveillance des Clusters Hadoop
  • Dépannage des Clusters Hadoop

En cliquant le bouton « Accepter », vous acceptez l’utilisation de cookies pour réaliser des mesures d’audiences et vous permettre d’enregistrer vos préférences de navigation. Sans votre acceptation, aucun cookie ne sera enregistré.

Accepter Paramètres En savoir plus