M2i Formation

Découvrez notre formationPig - Développement de scripts

Présentiel

2 jours (14 heures) - BIG-PIG

Accueil  ›  Formations Informatique  ›  Big Data  ›  Data Engineering  ›  Pig - Développement de scripts

Objectifs pédagogiques

  • Comprendre le fonctionnement de Pig
  • Développer des requêtes en Latin
  • Effectuer des transformations sur des données et des analyses de données
  • Intégrer des données de différents formats.

Niveau requis

Avoir des connaissances en Java ou Python, des bases Hadoop et des notions de calculs statistiques.

Public concerné

Chefs de projets, data scientists, développeurs souhaitant utiliser Pig pour l'analyse de données.

Paris05/09/20191 360 € HTDates proposées dans les agences M2iRéserver
Paris11/12/20191 360 € HTDates proposées dans les agences M2iRéserver

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Introduction

  • Le projet Apache Pig, ses fonctionnalités et ses versions
  • Présentation de Pig dans l'écosystème Hadoop
  • Chaîne de fonctionnements
  • Comparatif avec l'approche Hive ou Spark

Mise en oeuvre

  • Rappels sur les commandes HDFS
  • Prérequis techniques, configuration de Pig
  • Travaux pratiques
    • Les différents modes d'exécution
    • Interactif ou batch
    • Principe de l'exécution de scripts Pig Latin avec Grunt

Base Latin

  • Modèles de données avec Pig
  • Intégration Pig avec MapReduce
  • Les requêtes Latin
    • Chargement de données
    • Instructions
  • Ordres de bases
    • LOAD
    • FOREACH
    • FILTER
    • STORE
  • Création d'un ETL de base
  • Contrôle d'exécution

Transformations

  • Groupements, jointures, tris, produits cartésiens
  • Transformation de base de la donnée
  • Découpages
  • Découpages sur filtres

Analyse de la donnée

  • Echantillonages
  • Filtres
  • Rangements avec RANK et DENSE
  • Calculs
    • Min / max
    • Sommes
    • Moyennes
  • Traitements de chaînes de caractères
  • Traitement de dates

Intégration

  • Formats d'entrées / sorties
  • Interfaçage Avro, JSON
  • Chargement de données depuis HDFS vers HBase
  • Analyse de données Pig / HBase
  • Restitution JSON

Extensions

  • Extension du Pig Latin
  • Création de fonctions UDF en Java
  • Intégration dans les scripts Pig
  • Utilisation de Pig Latin depuis des programmes Python
  • Exécution de programmes externes, streaming

En cliquant le bouton « Accepter », vous acceptez l’utilisation de cookies pour réaliser des mesures d’audiences et vous permettre d’enregistrer vos préférences de navigation. En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies.

Accepter Paramètres En savoir plus