Accueil    Formations    Informatique    Big Data    Big Data - Développement    Ingestion de données avec Kafka

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Objectifs pédagogiques / Compétences visées

  • Décrire l'architecture de Kafka et son mode de fonctionnement dans un contexte multiclients
  • Publier et récupérer des données vers un cluster Kafka
  • Créer vos propres Consumers et Producers pour envoyer des données vers Kafka et lire des données depuis Kafka
  • Ecrire des applications de streaming avec Kafka Streams.

Niveau requis

Avoir des connaissances de développement en Java ou C# ou Python.

Public concerné

Développeurs application, architectes souhaitant créer des applications qui interagissent avec Kafka.

Programme

Jour 1

Apache Kafka, les fondamentaux

  • Plateforme de diffusion d'évènements distribuée
  • L'abstraction des logs dans la diffusion d'évènements distribués
  • Brokers, topics, partitions et segments
  • Enregistrements (alias messages, événements)
  • Politiques de rétention
  • Producteurs, consommateurs et sérialisation
  • La réplication
  • Connexion Kafka

Installation et architecture

  • Installation et options avancées
  • Considération matérielle (hardware)
  • Fichiers journaux de Kafka
  • Réplication et fiabilité
  • Chemins d'écriture et de lecture de Kafka
  • Partitions, consumer groups et scalability
Exemples de travaux pratiques (à titre indicatif)
  • Installation de Kafka
  • Utilisation de Kafka "command line tools"

Producers sous Kafka

  • L'architecture d'un Producers Kafka
  • Le partitionnement basé sur les clés
  • Kafka Acks
  • Configuration des paramètres
  • Créer un fichier "producer.properties" personnalisé
  • Utilisation du Batching

Jour 2

Consumers sous Kafka

  • Les partitions et leurs rôles dans l'évolutivité et la tolérance aux pannes
  • Configuration des consumers
  • Créer un fichier "consumer.properties" personnalisé
  • Utiliser l'API du consommateur pour gérer les décalages
  • Optimiser les requêtes de récupération

Gestion des schémas dans Kafka

  • Introduction à Avro
  • Les schémas Avro
  • Utilisation du Schema Registry

Kafka Streams

  • Les motivations pour Kafka Streams
  • Les fondamentaux de Kafka Streams
  • Exploration d'une application Kafka Streams

Kafka Connect

  • Kafka Connect
  • Les connecteurs couramment utilisés
  • Expliquer les différences entre le mode autonome et le mode distribué
  • Configurer et utiliser Kafka Connect
Exemples de travaux pratiques (à titre indicatif)
  • Produire des données à Kafka et les consommer en temps réel
  • Création d'une application Kafka Streams pour effectuer en temps réel

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation ou une certification (M2i ou éditeur)

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Vous souhaitez suivre cette formation ?

Cette formation est disponible en présentiel ou en classe à distance, avec un programme et une qualité pédagogique identiques.

Choisissez la modalité souhaitée pour vous inscrire :

Votre société a besoin d'une offre personnalisée ? Contactez-nous

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.

Contactez-nous