Accueil › Formations › Informatique › Big Data › Big Data - Développement › Ingestion de données avec NiFi
Objectifs pédagogiques / Compétences visées
- Décrire l'architecture de NiFi, y compris les configurations autonomes et en cluster
- Naviguer, configurer les flux de données et utiliser les informations sur les flux de données avec l'interface utilisateur NiFi
- Organiser et simplifier les flux de données
- Connecter les flux de données avec d'autres systèmes, tels que Kafka et HDFS.
Niveau requis
Avoir des connaissances en développement Java, C# ou Python. Avoir de l'expérience en ETL.
Public concerné
Développeurs, Data engineers, Data scientists, Data stewards et toute personne intéressée par l'ingestion de données.
Programme
Jour 1
Apache NiFi : les fondamentaux
- Introduction à Cloudera Flow Management
- L'interface utilisateur NiFi
- L'architecture de NiFi
- Approches de développement
- Extraction, transformation et chargement (ETL)
- Installation et configuration de NiFi
NiFi : concepts
- NiFi User Interface
- NiFi Processors
- NiFi Connections
- NiFi Processor Groups
- Controller services
- Flowfile
Exemples de travaux pratiques (à titre indicatif)
- Installation de NiFi
- Création d'un premier flux de données
NiFi Dataflow
- Commande et contrôle d'un flux de données
- Relations avec les processeurs
- Prioritizers
- Labels
- Dataflow templates
Jour 2
NiFi : concepts avancés
- NiFi Registry
- Les attributs de Flowfile
- NiFi Expression Language
- Syntaxe
- Structures propriétés
- Configuration
- L'optimisation des flux de données
- L'architecture NiFi
- Management du cluster Edge
- MiNiFi
- Monitoring et rapports
- NiFi, sécurité
- Security configuration
- User authentication
- Lightweight Directory Access Protocol (LDAP)
- HDF and HDP
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation ou une certification (M2i ou éditeur)
