M2i Formation

Découvrez notre formationHadoop Cloudera - Architecture et administration

Présentiel

5 jours (35 heures) - BIG-CLDR

Accueil  ›  Formations Informatique  ›  Big Data  ›  Big Data - Infrastructure  ›  Hadoop Cloudera - Architecture et administration

Objectifs pédagogiques

  • Maîtriser l'administration des clusters Cloudera.

Niveau requis

Maîtriser les commandes Shell et avoir des connaissances de base autour des requêtes SQL.

Public concerné

Administrateurs système et consultants SI.

3 300 € HT

Pour connaître les prochaines dates disponibles, en présentiel ou à distance, contactez-nous.

Contactez-nous

Jour 1

Introduction

  • Big Data et Hadoop
  • Architecture solution
  • NoSQL

Installation d'un cluster Cloudera

  • Cluster : vue d'ensemble
  • Justification d'une solution de gestion de cluster
  • Caractéristiques du Cloudera Manager
  • Installation du Cloudera Manager

Exemple de travaux pratiques (à titre indicatif)

  • Installation de Hadoop (CDH)

Jour 2

Gestion des utilisateurs

  • Gestion des utilisateurs et des groupes avec Cloudera Manager

Configuration des services Hadoop via Cloudera Manager

  • Configuration des services
  • Surveillance et maintenance des services

Exemple de travaux pratiques (à titre indicatif)

  • Mise en situation d'une configuration, surveillance et maintenance des services Hadoop

Le système de fichiers distribués Hadoop (HDFS)

  • Fonctionnalités HDFS
  • Ecriture et lecture de fichiers
  • Considérations relatives à la mémoire NameNode
  • Vue d'ensemble de la sécurité HDFS
  • IU Web pour HDFS
  • Utilisation de Hadoop File Shell

Exemple de travaux pratiques (à titre indicatif)

  • Manipulation des fichiers via HDFS

Jour 3

MapReduce et Spark avec YARN

  • Le rôle des frameworks de calcul
  • YARN : gestion des ressources du cluster
  • Concepts du MapReduce
  • Concepts d'Apache Spark
  • Exécution de frameworks de calcul sur YARN
  • Exploration des applications YARN via l'interface Web et Shell
  • Logs applicatifs YARN

Configuration de Hadoop et Daemon Logs

  • Outil Cloudera Manager de gestion des configurations
  • Localisation des configurations
  • Changements de configuration
  • Gestion des instances de rôles
  • Ajout de services

Configuration du service HDFS

  • Configuration des journaux Hadoop Daemon
  • Configuration du service YARN
  • Ingestion de données dans HDFS
  • Ingestion de données à partir de sources externes avec Flume
  • Ingestion de données à partir de bases de données relationnelles avec Sqoop Interfaces REST
  • Bonnes pratiques pour l'importation de données

Planification du cluster Hadoop

  • Considérations générales relatives à la planification
  • Choisir le bon matériel
  • Options de virtualisation
  • Considérations sur le réseau
  • Configuration des noeuds

Jour 4

Installation et configuration de Hive de l'Impala et Pig

  • Hive
  • Impala
  • Pig

Clients Hadoop avec Hue

  • Installation et configuration des clients Hadoop
  • Installation et configuration de la teinte
  • Authentification et autorisation Hue

Configuration avancée du cluster

  • Paramètres de configuration avancés
  • Configuration des ports Hadoop
  • Configuration de HDFS pour la sensibilisation au rack
  • Configuration de haute disponibilité HDFS

Sécurité Hadoop

  • Importance de la sécurité Hadoop
  • Concepts du système de sécurité de Hadoop
  • Présentation et fonctionnement de Kerberos
  • Sécurisation d'un cluster Hadoop avec Kerberos
  • Autres concepts de sécurité

Jour 5

Gestion des ressources

  • Configuration des Cgroups avec les pools de services statiques
  • Planification des ressources
  • Configuration des pools de ressources dynamiques
  • Mémoire YARN et paramètres du CPU
  • Planification de requêtes Impala

Entretien du cluster

  • Vérification de l'état HDFS
  • Copier les données entre clusters
  • Ajout et suppression de noeuds de cluster
  • Rééquilibrage du cluster snapshots de répertoires
  • Mise à niveau du cluster

Surveillance et dépannage du cluster

  • Fonctionnalités de surveillance du Cloudera Manager
  • Surveillance des clusters Hadoop
  • Dépannage des clusters Hadoop

Complétez votre formation

En cliquant le bouton « Accepter », vous acceptez l’utilisation de cookies pour réaliser des mesures d’audiences et vous permettre d’enregistrer vos préférences de navigation. En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies.

Accepter Paramètres En savoir plus