Accueil    Formations    Informatique    Big Data    Data Engineering    Ingestion de données avec Kafka et NiFi

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Objectifs pédagogiques

  • Comprendre l'architecture de Kafka et son mode de fonctionnement dans un contexte multiclient
  • Publier et récupérer des données vers un cluster Kafka
  • Créer vos propres Consumers et Producers avec Kafka
  • Comprendre l'architecture et les concepts de flux de données de NiFi
  • Développer des extensions à l'aide d'API NiFi et tierces
  • Personnaliser et développer votre propre processeur Apache NiFi
  • Acquérir et traiter des données en temps.

Niveau requis

Avoir les connaissances de base d'un système Unix et du langage Java.

Public concerné

Data engineer, développeurs, architectes, administrateurs système, DevOps.

Programme

Jour 1

Introduction Kafka

  • Historique et complexité des systèmes
  • Le traitement en temps réel : un important business
  • Kafka : une plateforme de données de flux
  • Aperçu de Kafka et de son efficacité
  • Producers
  • Brokers
  • Consumers

Installation et architecture

  • Installation et options avancées
  • Considération matérielle (hardware)
  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d'écriture et de lecture de Kafka
  • Partitions, consumer groups et scalability

Développement et mise en oeuvre

  • Cas d'utilisation de Kafka Streams
  • Kafka Streams : les fondamentaux
  • Etude d'une application et usage de Kafka Streams

Jour 2

Introduction NiFi

  • Différence entre données froides et données chaudes
  • Présentation des outils et technologies Big Data
  • Hadoop (HDFS et MapReduce) et Spark
  • Installation et configuration de NiFi
  • Vue d'ensemble de l'architecture NiFi
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité
Exemple de travaux pratiques (à titre indicatif)
  • Kafka Connect

Jour 3

Mise en oeuvre de NiFi

  • Considérations sur la conception
  • Composants, événements et modèles de processeur
  • La gestion des erreurs
  • Services de contrôleur
  • Tests et dépannage
  • Contribuer à Apache NiFi
Exemples de travaux pratiques (à titre indicatif)
  • Ingérer des données à partir de périphériques IoT à l'aide d'API Web
  • Développement d'un processeur Apache NiFi personnalisé à l'aide de JSON
  • Streaming Data Feeds dans HDFS

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Vous souhaitez suivre cette formation ?

Cette formation est disponible en présentiel ou en classe à distance, avec un programme et une qualité pédagogique identiques.

Choisissez la modalité souhaitée pour vous inscrire :

Modalité Présentiel, Classe à distance

Votre société a besoin d'une offre personnalisée ? Contactez-nous

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.

Contactez-nous