M2i Formation

Découvrez notre formationPySpark - Traitement des données

Présentiel

3 jours (21 heures) - BIG-PYSPK

Accueil  ›  Formations Informatique  ›  Big Data  ›  Data Engineering  ›  PySpark - Traitement des données

Objectifs pédagogiques

  • Comprendre le principe de fonctionnement de Spark
  • Utiliser l'API PySpark pour interagir avec Spark en Python
  • Utiliser les méthodes de Machine Learning avec la librairie MLlib de Spark
  • Traiter les flux de données avec Spark Streaming
  • Manipuler les données avec Spark SQL.

Niveau requis

Avoir des notions de SQL et des connaissances de base en mathématiques et statistiques. Une première expérience en programmation Python est requise.

Public concerné

Développeurs, Data analysts, Data scientists, architectes Big Data et toute personne souhaitant acquérir des connaissances dans le domaine de la Data Science et sur Spark.

Paris La Défense19/02/20202 100 € HTDates proposées dans les agences M2iRéserver
Paris La Défense11/05/20202 100 € HTDates proposées dans les agences M2iRéserver
Paris La Défense28/10/20202 100 € HTDates proposées dans les agences M2iRéserver
Paris La Défense14/12/20202 100 € HTDates proposées dans les agences M2iRéserver

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Jour 1

Introduction à Hadoop

  • L'ère du Big Data
  • Architecture et composants de la plateforme Hadoop
  • HDFS
  • NameNode / DataNode / ResourceManager
  • MapReduce et YARN

Introduction à Spark

  • Qu'est-ce que Spark ?
  • Spark vs MapReduce
  • Fonctionnement
    • RDD
    • DataFrames
    • Data Sets
  • Comment interagir avec Spark ?
  • PySpark : programmer avec Spark en Python

Installation de Spark

  • Sur une infrastructure distribuée
  • En local
  • En Cloud (présentation avec Amazon AWS et Microsoft Azure)

Jour 2

Spark pour la manipulation des données - PySpark

  • Utilisation de SparkSQL et des DataFrames pour manipuler des données
  • Charger des données depuis Hadoop, depuis des fichiers CSV, texte, JSON...
  • Transformer des données (création de DataFrames, ajout de colonnes, filtres...)

Exemple de travaux pratiques (à titre indicatif)

  • Chargement et modifications de données avec Spark et PySpark

L'utilisation de spark.ml pour le Machine Learning

  • Apprentissage supervisé
    • Forêts aléatoires avec Spark
  • Mise en place d'un outil de recommandation
  • Traitement de données textuelles
  • Automatiser vos analyses avec des pipelines

Jour 3

Spark Streaming

  • Introduction à Spark Streaming
  • La notion de "DStream"
  • Principales sources de données
  • Utilisation de l'API
  • Manipulation des données

Spark SQL

  • Initialisation à Spark SQL
  • Création de DataFrames
  • Manipulation des DataFrames (opérations basiques, agrégations et groupBy, missing data)
  • Chargement et stockage de données (avec Hive, JSON...)

GraphX et GraphFrames

  • Présentation de GraphX
  • Principe de création des graphes
  • API GraphX
  • Présentation de GraphFrames
  • GraphX vs GraphFrames

Complétez votre formation

En cliquant le bouton « Accepter », vous acceptez l’utilisation de cookies pour réaliser des mesures d’audiences et vous permettre d’enregistrer vos préférences de navigation. En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies.

Accepter Paramètres En savoir plus