Accueil    Formations    Informatique    Big Data    Data Engineering    Ingestion de données avec Kafka et NiFi

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Objectifs pédagogiques

  • Comprendre l'architecture de Kafka et son mode de fonctionnement dans un contexte multiclient
  • Publier et récupérer des données vers un cluster Kafka
  • Créer vos propres Consumers et Producers avec Kafka
  • Comprendre l'architecture et les concepts de flux de données de NiFi
  • Développer des extensions à l'aide d'API NiFi et tierces
  • Personnaliser et développer votre propre processeur Apache NiFi
  • Acquérir et traiter des données en temps.

Niveau requis

Avoir les connaissances de base d'un système Unix et du langage Java.

Public concerné

Data engineer, développeurs, architectes, administrateurs système, DevOps.

Programme

Jour 1

Introduction Kafka

  • Historique et complexité des systèmes
  • Le traitement en temps réel : un important business
  • Kafka : une plateforme de données de flux
  • Aperçu de Kafka et de son efficacité
  • Producers
  • Brokers
  • Consumers

Installation et architecture

  • Installation et options avancées
  • Considération matérielle (hardware)
  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d'écriture et de lecture de Kafka
  • Partitions, consumer groups et scalability

Développement et mise en oeuvre

  • Cas d'utilisation de Kafka Streams
  • Kafka Streams : les fondamentaux
  • Etude d'une application et usage de Kafka Streams

Jour 2

Introduction NiFi

  • Différence entre données froides et données chaudes
  • Présentation des outils et technologies Big Data
  • Hadoop (HDFS et MapReduce) et Spark
  • Installation et configuration de NiFi
  • Vue d'ensemble de l'architecture NiFi
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité
Exemple de travaux pratiques (à titre indicatif)
  • Kafka Connect

Jour 3

Mise en oeuvre de NiFi

  • Considérations sur la conception
  • Composants, événements et modèles de processeur
  • La gestion des erreurs
  • Services de contrôleur
  • Tests et dépannage
  • Contribuer à Apache NiFi
Exemples de travaux pratiques (à titre indicatif)
  • Ingérer des données à partir de périphériques IoT à l'aide d'API Web
  • Développement d'un processeur Apache NiFi personnalisé à l'aide de JSON
  • Streaming Data Feeds dans HDFS

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Calendrier des sessions

Pendant la période de confinement, cette formation en présentiel est disponible en Classe à Distance avec la même qualité pédagogique. Quand souhaitez-vous commencer votre formation ?

20/04/2020 Paris La Défense 2 100 € HT Je m'inscris

23/04/2020 Paris La Défense 2 100 € HT Je m'inscris

20/07/2020 Paris La Défense 2 100 € HT Je m'inscris

12/10/2020 Paris La Défense 2 100 € HT Je m'inscris

Modalité Présentiel

Pendant la période de confinement, cette formation en présentiel est disponible en Classe à Distance avec la même qualité pédagogique. Quand souhaitez-vous commencer votre formation ?

20/04/2020 Nancy 2 100 € HT Je m'inscris

20/04/2020 Strasbourg 2 100 € HT Je m'inscris

20/04/2020 Reims 2 100 € HT Je m'inscris

20/04/2020 Metz 2 100 € HT Je m'inscris

20/04/2020 Mulhouse 2 100 € HT Je m'inscris

20/07/2020 Nancy 2 100 € HT Je m'inscris

20/07/2020 Strasbourg 2 100 € HT Je m'inscris

20/07/2020 Reims 2 100 € HT Je m'inscris

20/07/2020 Metz 2 100 € HT Je m'inscris

20/07/2020 Mulhouse 2 100 € HT Je m'inscris

12/10/2020 Nancy 2 100 € HT Je m'inscris

12/10/2020 Strasbourg 2 100 € HT Je m'inscris

12/10/2020 Reims 2 100 € HT Je m'inscris

12/10/2020 Metz 2 100 € HT Je m'inscris

12/10/2020 Mulhouse 2 100 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

Pendant la période de confinement, cette formation en présentiel est disponible en Classe à Distance avec la même qualité pédagogique. Quand souhaitez-vous commencer votre formation ?

20/04/2020 Lille 2 100 € HT Je m'inscris

20/04/2020 Rouen 2 100 € HT Je m'inscris

20/04/2020 Nantes 2 100 € HT Je m'inscris

20/04/2020 Caen 2 100 € HT Je m'inscris

20/04/2020 Évreux 2 100 € HT Je m'inscris

20/04/2020 Le Havre 2 100 € HT Je m'inscris

20/07/2020 Lille 2 100 € HT Je m'inscris

20/07/2020 Rouen 2 100 € HT Je m'inscris

20/07/2020 Nantes 2 100 € HT Je m'inscris

20/07/2020 Caen 2 100 € HT Je m'inscris

20/07/2020 Évreux 2 100 € HT Je m'inscris

20/07/2020 Le Havre 2 100 € HT Je m'inscris

12/10/2020 Lille 2 100 € HT Je m'inscris

12/10/2020 Rouen 2 100 € HT Je m'inscris

12/10/2020 Nantes 2 100 € HT Je m'inscris

12/10/2020 Caen 2 100 € HT Je m'inscris

12/10/2020 Évreux 2 100 € HT Je m'inscris

12/10/2020 Le Havre 2 100 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

Pendant la période de confinement, cette formation en présentiel est disponible en Classe à Distance avec la même qualité pédagogique. Quand souhaitez-vous commencer votre formation ?

20/04/2020 Lyon Part-Dieu 2 100 € HT Je m'inscris

20/04/2020 Grenoble 2 100 € HT Je m'inscris

20/07/2020 Lyon Part-Dieu 2 100 € HT Je m'inscris

20/07/2020 Grenoble 2 100 € HT Je m'inscris

12/10/2020 Lyon Part-Dieu 2 100 € HT Je m'inscris

12/10/2020 Grenoble 2 100 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

Pendant la période de confinement, cette formation en présentiel est disponible en Classe à Distance avec la même qualité pédagogique. Quand souhaitez-vous commencer votre formation ?

20/04/2020 Tours 2 100 € HT Je m'inscris

20/04/2020 Orléans 2 100 € HT Je m'inscris

20/04/2020 Bordeaux 2 100 € HT Je m'inscris

20/04/2020 Blois 2 100 € HT Je m'inscris

20/04/2020 Bourges 2 100 € HT Je m'inscris

20/04/2020 Châteauroux 2 100 € HT Je m'inscris

20/04/2020 Le Mans 2 100 € HT Je m'inscris

20/04/2020 Niort 2 100 € HT Je m'inscris

20/04/2020 Poitiers 2 100 € HT Je m'inscris

20/07/2020 Tours 2 100 € HT Je m'inscris

20/07/2020 Orléans 2 100 € HT Je m'inscris

20/07/2020 Bordeaux 2 100 € HT Je m'inscris

20/07/2020 Blois 2 100 € HT Je m'inscris

20/07/2020 Bourges 2 100 € HT Je m'inscris

20/07/2020 Châteauroux 2 100 € HT Je m'inscris

20/07/2020 Le Mans 2 100 € HT Je m'inscris

20/07/2020 Niort 2 100 € HT Je m'inscris

20/07/2020 Poitiers 2 100 € HT Je m'inscris

12/10/2020 Tours 2 100 € HT Je m'inscris

12/10/2020 Orléans 2 100 € HT Je m'inscris

12/10/2020 Bordeaux 2 100 € HT Je m'inscris

12/10/2020 Blois 2 100 € HT Je m'inscris

12/10/2020 Bourges 2 100 € HT Je m'inscris

12/10/2020 Châteauroux 2 100 € HT Je m'inscris

12/10/2020 Le Mans 2 100 € HT Je m'inscris

12/10/2020 Niort 2 100 € HT Je m'inscris

12/10/2020 Poitiers 2 100 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

Pendant la période de confinement, cette formation en présentiel est disponible en Classe à Distance avec la même qualité pédagogique. Quand souhaitez-vous commencer votre formation ?

20/04/2020 Montpellier 2 100 € HT Je m'inscris

20/04/2020 Sophia Antipolis 2 100 € HT Je m'inscris

20/07/2020 Aix-en-Provence 2 100 € HT Je m'inscris

20/07/2020 Montpellier 2 100 € HT Je m'inscris

20/07/2020 Sophia Antipolis 2 100 € HT Je m'inscris

12/10/2020 Aix-en-Provence 2 100 € HT Je m'inscris

12/10/2020 Montpellier 2 100 € HT Je m'inscris

12/10/2020 Sophia Antipolis 2 100 € HT Je m'inscris

Voir plus de sessions

Modalité Présentiel

Votre société a besoin d'une offre personnalisée ? Contactez-nous

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.

Contactez-nous