Formation Ingestion de données avec Kafka et NiFi – Centre de formation M2i
M2i Formation

Découvrez notre formationIngestion de données avec Kafka et NiFi

Présentiel

3 jours (21 heures) - BIG-KAF

Accueil  ›  Formations Informatique  ›  Big Data  ›  Data Engineering  ›  Ingestion de données avec Kafka et NiFi

Objectifs pédagogiques

  • Comprendre l'architecture de Kafka et son mode de fonctionnement dans un contexte multiclient
  • Publier et récupérer des données vers un cluster Kafka
  • Créer vos propres Consumers et Producers avec Kafka
  • Comprendre l'architecture et les concepts de flux de données de NiFi
  • Développer des extensions à l'aide d'API NiFi et tierces
  • Personnaliser et développer votre propre processeur Apache NiFi
  • Acquérir et traiter des données en temps.

Niveau requis

Avoir les connaissances de base d'un système Unix et du langage Java.

Public concerné

Data engineer, développeurs, architectes, administrateurs système, DevOps.

Paris La Défense20/04/20202 100 € HTDates proposées dans les agences M2iRéserver
Paris La Défense20/07/20202 100 € HTDates proposées dans les agences M2iRéserver
Paris La Défense12/10/20202 100 € HTDates proposées dans les agences M2iRéserver

Sessions
planifiées
Sessions
ouvertes
Sessions
confirmées
Réserver
le stage

Jour 1

Introduction Kafka

  • Historique et complexité des systèmes
  • Le traitement en temps réel : un important business
  • Kafka : une plateforme de données de flux
  • Aperçu de Kafka et de son efficacité
  • Producers
  • Brokers
  • Consumers

Installation et architecture

  • Installation et options avancées
  • Considération matérielle (hardware)
  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d'écriture et de lecture de Kafka
  • Partitions, consumer groups et scalability

Développement et mise en oeuvre

  • Cas d'utilisation de Kafka Streams
  • Kafka Streams : les fondamentaux
  • Etude d'une application et usage de Kafka Streams

Jour 2

Introduction NiFi

  • Différence entre données froides et données chaudes
  • Présentation des outils et technologies Big Data
  • Hadoop (HDFS et MapReduce) et Spark
  • Installation et configuration de NiFi
  • Vue d'ensemble de l'architecture NiFi
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité

Exemple de travaux pratiques (à titre indicatif)

  • Kafka Connect

Jour 3

Mise en oeuvre de NiFi

  • Considérations sur la conception
  • Composants, événements et modèles de processeur
  • La gestion des erreurs
  • Services de contrôleur
  • Tests et dépannage
  • Contribuer à Apache NiFi

Exemples de travaux pratiques (à titre indicatif)

  • Ingérer des données à partir de périphériques IoT à l'aide d'API Web
  • Développement d'un processeur Apache NiFi personnalisé à l'aide de JSON
  • Streaming Data Feeds dans HDFS

Complétez votre formation