Objectifs pédagogiques
- Mettre en oeuvre Storm pour le traitement de flux de données.
Modalités et moyens pédagogiques
Formation délivrée en présentiel ou distanciel* (e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
- Ordinateurs Mac ou PC (sauf pour les cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
- Environnements de formation installés sur les postes de travail ou en ligne
- Supports de cours et exercices
En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatique...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Niveau requis
Avoir connaissance d'un langage de programmation comme Java ou Python.
Public concerné
Chefs de projets, data scientists, développeurs.
Programme
Introduction
- Présentation de Storm
- Fonctionnalités
- Architecture
- Langages supportés
- Définitions
- Spout
- Bolt
- Topology
Architecture
- Etude des composants d'un cluster Storm
- Master node "Nimbus"
- Worker node
- Positionnement par rapport à un cluster Hadoop
- Le modèle de données
- Différents types de flux
Premiers pas
- Configuration d'un environnement de développement
- Installation d'un cluster Storm
Exemple de travaux pratiques (à titre indicatif)
- Travailler sur le projet storm-starter
Flux de données
- Définition du nombre de flux dans un noeud
- Création de topologies regroupants des flux entre différents noeuds
- Communication entre flux en JSON
- Lecture de flux d'origines diverses
- JMS
- Kafka
Haute disponibilité
- Tolérance aux pannes
- Principe de fiabilisation de master node
- Worker node
- Nimbus
- Garantie de traitement des flux
- Principe
- Paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS et TOPOLOGY_ACKERS
- Traitements temps réel avec Trident
- Elasticité :
- Traitements concurrents dans un cluster Storm
- Ajouts de noeuds
- Commande "Storm rebalance"
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- Analyse des résultats individuels produits par chaque participant lors des travaux pratiques, correction au fur et à mesure du déroulé de la formation
- Réalisation d'un test complet sur un projet global de fin de formation, et analyse par le consultant formateur
- Un QCM individuel d'évaluation des acquis est proposé en fin de chaque session
