Accueil    Formations    Informatique    Big Data    Data Engineering    Storm - Flux de données

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Objectifs pédagogiques

  • Mettre en oeuvre Storm pour le traitement de flux de données.

Niveau requis

Avoir connaissance d'un langage de programmation comme Java ou Python.

Public concerné

Chefs de projets, data scientists, développeurs.

Programme

Introduction

  • Présentation de Storm
    • Fonctionnalités
    • Architecture
    • Langages supportés
  • Définitions
    • Spout
    • Bolt
    • Topology

Architecture

  • Etude des composants d'un cluster Storm
    • Master node "Nimbus"
    • Worker node
  • Positionnement par rapport à un cluster Hadoop
  • Le modèle de données
  • Différents types de flux

Premiers pas

  • Configuration d'un environnement de développement
  • Installation d'un cluster Storm
  • Le projet storm-starter

Flux de données

  • Définition du nombre de flux dans un noeud
  • Création de topologies regroupants des flux entre différents noeuds
  • Communication entre flux en JSON
  • Lecture de flux d'origines diverses
    • JMS
    • Kafka

Haute disponibilité

  • Tolérance aux pannes
    • Principe de fiabilisation de master node
    • Worker node
    • Nimbus
  • Garantie de traitement des flux
    • Principe
    • Paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS et TOPOLOGY_ACKERS
  • Traitements temps réel avec Trident
  • Scalabilité
    • Parallélisme dans un cluster Storm
    • Ajouts de noeuds
    • Commande Storm rebalance

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Vous souhaitez suivre cette formation ?

Cette formation est disponible en présentiel ou en classe à distance, avec un programme et une qualité pédagogique identiques.

Choisissez la modalité souhaitée pour vous inscrire :

Modalité Présentiel, Classe à distance

Votre société a besoin d'une offre personnalisée ? Contactez-nous

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.

Contactez-nous