Objectifs pédagogiques
- Décrire l'architecture de NiFi, y compris les configurations autonomes et en cluster
- Naviguer, configurer les flux de données et utiliser les informations sur les flux de données avec l'interface utilisateur NiFi
- Organiser et simplifier les flux de données
- Connecter les flux de données avec d'autres systèmes, tels que Kafka et HDFS.
Modalités et moyens pédagogiques
Formation délivrée en présentiel ou distanciel* (e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
- Ordinateurs Mac ou PC (sauf pour les cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
- Environnements de formation installés sur les postes de travail ou en ligne
- Supports de cours et exercices
En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatique...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Niveau requis
Avoir des connaissances en développement Java, C# ou Python. Avoir de l'expérience en ETL.
Public concerné
Développeurs, Data engineers, Data scientists, Data stewards et toute personne intéressée par l'ingestion de données.
Programme
Jour 1
Apache NiFi : les fondamentaux
- Introduction à Cloudera Flow Management
- L'interface utilisateur NiFi
- L'architecture de NiFi
- Approches de développement
- Extraction, transformation et chargement (ETL)
- Installation et configuration de NiFi
NiFi : concepts
- NiFi User Interface
- NiFi Processors
- NiFi Connections
- NiFi Processor Groups
- Controller services
- Flowfile
Exemples de travaux pratiques (à titre indicatif)
- Installation de NiFi
- Création d'un premier flux de données
NiFi Dataflow
- Commande et contrôle d'un flux de données
- Relations avec les processeurs
- Prioritizers
- Labels
- Dataflow templates
Jour 2
NiFi : concepts avancés
- NiFi Registry
- Les attributs de Flowfile
- NiFi Expression Language
- Syntaxe
- Structures propriétés
- Configuration
- L'optimisation des flux de données
- L'architecture NiFi
- Management du cluster Edge
- MiNiFi
- Monitoring et rapports
- NiFi, sécurité
- Security configuration
- User authentication
- Lightweight Directory Access Protocol (LDAP)
- HDF and HDP
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
