5 jours
Perfectionnement / Avancé
Présentiel Classe à distance
Accueil › Formations › Informatique › Big Data › Big Data - Développement › Ingestion de données avec Kafka
Objectifs de formation
A l'issue de cette formation, vous serez capable de :
- Décrire l'architecture de Kafka et son mode de fonctionnement dans un contexte multiclients
- Publier et récupérer des données vers un cluster Kafka
- Créer vos propres Consumers et Producers pour envoyer des données vers Kafka et lire des données depuis Kafka
- Ecrire des applications de streaming avec Kafka Streams.
Modalités, méthodes et moyens pédagogiques
Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
- Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
- Environnements de formation installés sur les postes de travail ou en ligne
- Supports de cours et exercices
En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Prérequis
Avoir des connaissances de développement en Java ou C# ou Python.
Public concerné
Développeurs application, architectes souhaitant créer des applications qui interagissent avec Kafka.
Programme
Jour 1
Apache Kafka, les fondamentaux
- Plateforme de diffusion d'évènements distribuée
- L'abstraction des logs dans la diffusion d'évènements distribués
- Brokers, topics, partitions et segments
- Enregistrements (alias messages, événements)
- Politiques de rétention
- Producteurs, consommateurs et sérialisation
- La réplication
- Connexion Kafka
Installation et architecture
- Installation et options avancées
- Considération matérielle (hardware)
- Fichiers journaux de Kafka
- Réplication et fiabilité
- Chemins d'écriture et de lecture de Kafka
- Partitions, consumer groups et scalability
Exemples de travaux pratiques (à titre indicatif)
- Installation de Kafka
- Utilisation de Kafka "command line tools"
Producers sous Kafka
- L'architecture d'un Producers Kafka
- Le partitionnement basé sur les clés
- Kafka Acks
- Configuration des paramètres
- Créer un fichier "producer.properties" personnalisé
- Utilisation du Batching
Jour 2
Consumers sous Kafka
- Les partitions et leurs rôles dans l'évolutivité et la tolérance aux pannes
- Configuration des consumers
- Créer un fichier "consumer.properties" personnalisé
- Utiliser l'API du consommateur pour gérer les décalages
- Optimiser les requêtes de récupération
Gestion des schémas dans Kafka
- Introduction à Avro
- Les schémas Avro
- Utilisation du Schema Registry
Kafka Streams
- Les motivations pour Kafka Streams
- Les fondamentaux de Kafka Streams
- Exploration d'une application Kafka Streams
Kafka Connect
- Kafka Connect
- Les connecteurs couramment utilisés
- Expliquer les différences entre le mode autonome et le mode distribué
- Configurer et utiliser Kafka Connect
Exemples de travaux pratiques (à titre indicatif)
- Produire des données à Kafka et les consommer en temps réel
- Création d'une application Kafka Streams pour effectuer en temps réel
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Accessibilité de la formation
Le groupe M2i s'engage pour faciliter l'accessibilité de ses formations. Les détails de l'accueil des personnes en situation de handicap sont consultables sur la page Accueil et Handicap.
Modalités et délais d’accès à la formation
Les formations M2i sont disponibles selon les modalités proposées sur la page programme. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Dans le cas d'une formation financée par le CPF, ce délai est porté à 11 jours ouvrés.
