5 jours
Perfectionnement / Avancé
Présentiel Classe à distance
Objectifs de formation
A l'issue de cette formation, vous serez capable de :
- Mettre en oeuvre Storm pour le traitement de flux de données.
Modalités, méthodes et moyens pédagogiques
Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
- Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
- Environnements de formation installés sur les postes de travail ou en ligne
- Supports de cours et exercices
En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Prérequis
Avoir connaissance d'un langage de programmation comme Java ou Python.
Public concerné
Chefs de projets, data scientists, développeurs.
Programme
Introduction
- Présentation de Storm
- Fonctionnalités
- Architecture
- Langages supportés
- Définitions
- Spout
- Bolt
- Topology
Architecture
- Etude des composants d'un cluster Storm
- Master node "Nimbus"
- Worker node
- Positionnement par rapport à un cluster Hadoop
- Le modèle de données
- Différents types de flux
Premiers pas
- Configuration d'un environnement de développement
- Installation d'un cluster Storm
Exemple de travaux pratiques (à titre indicatif)
- Travailler sur le projet storm-starter
Flux de données
- Définition du nombre de flux dans un noeud
- Création de topologies regroupants des flux entre différents noeuds
- Communication entre flux en JSON
- Lecture de flux d'origines diverses
- JMS
- Kafka
Haute disponibilité
- Tolérance aux pannes
- Principe de fiabilisation de master node
- Worker node
- Nimbus
- Garantie de traitement des flux
- Principe
- Paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS et TOPOLOGY_ACKERS
- Traitements temps réel avec Trident
- Elasticité :
- Traitements concurrents dans un cluster Storm
- Ajouts de noeuds
- Commande "Storm rebalance"
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- Analyse des résultats individuels produits par chaque participant lors des travaux pratiques, correction au fur et à mesure du déroulé de la formation
- Réalisation d'un test complet sur un projet global de fin de formation, et analyse par le consultant formateur
- Un QCM individuel d'évaluation des acquis est proposé en fin de chaque session
Accessibilité de la formation
Le groupe M2i s'engage pour faciliter l'accessibilité de ses formations. Les détails de l'accueil des personnes en situation de handicap sont consultables sur la page Accueil et Handicap.
Modalités et délais d’accès à la formation
Les formations M2i sont disponibles selon les modalités proposées sur la page programme. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Dans le cas d'une formation financée par le CPF, ce délai est porté à 11 jours ouvrés.
