Téléchargez le parcours au format PDF
2 jours
Perfectionnement / Avancé
Présentiel Classe à distance
Partager
Accueil › Formations › Informatique › Data › Data - Développement › Ingestion de données avec Kafka 4.0
Public concerné
Développeurs d'applications, architectes souhaitant créer des applications qui interagissent avec Kafka.
Validez les prérequis
Afin de vérifier que vous disposez bien des prérequis nécessaires à cette formation, nous vous invitons à réaliser ce test.
Temps estimé : 4 minutes.
Passer le testObjectifs de formation
A l'issue de cette formation, vous serez capable de :
- Reconnaître les nouveautés et avantages pratiques de Kafka 4.0
- Décrire l'architecture de Kafka et son mode de fonctionnement dans un contexte multi-locataires
- Publier et récupérer des données vers un cluster Kafka 4.0
- Créer vos propres Consumers et Producers
- Ecrire des applications de streaming avec Kafka Streams.
Programme de votre formation
-
#
M2I START AVANT VOTRE FORMATION
Contextualisation du projet de formation et prise en compte des besoins de chacun
- Positionnement initial de l’apprenant par rapport aux objectifs
- Définition des priorités et des objectifs personnels de l’apprenant
- Vidéos de mise en situation
- Accès au Chat interactif myM2i pour interagir avec les membres de son groupe
-
#
M2I LIVE VOTRE FORMATION ANIMÉE PAR NOTRE EXPERT ¹
Programme
Jour 1 - Matin
Apache Kafka, les fondamentaux
- Plateforme de diffusion d'évènements distribuée
- L'abstraction des logs dans la diffusion d'évènements distribués
- Brokers, topics, partitions et segments
- Enregistrements (alias messages, événements)
- Politiques de rétention
- Producteurs, consommateurs et sérialisation
- La réplication
- Présentation des API Kafka (Producer Consumer, Streams, Connect, Admin)
- Les nouveautés de Kafka 4.0
- Impact du passage de Zookeeper à KRaft
- Stratégie de migration vers Kafka 4.0 et points à surveiller
Exemples de travaux pratiques (à titre indicatif)
- Démonstration d'un pipeline de traitement en temps réel avec Kafka 4.0
Installation et architecture
- Installation et options avancées
- Considérations matérielles (hardware)
- Fichiers journaux de Kafka
- Réplication et fiabilité
- Chemins d'écriture et de lecture de Kafka
- Partitions, consumer groups et scalability
- Alternatives architecturales, avantages et inconvénients de chacune
- Meilleures pratiques architecturales
Jour 1 - Après-midi
Exemples de travaux pratiques (à titre indicatif)
- Installation et configuration de Kafka 4.0
- Prise en main de Kafka 4.0 à travers des exemples
Producers sous Kafka
- L'architecture d'un Producer Kafka
- Le partitionnement basé sur les clés
- Kafka Acks
- Configuration des paramètres
- Créer un fichier "producer.properties" personnalisé
- Utilisation du Batching
Exemple de travaux pratiques (à titre indicatif)
- Utilisation de l'API Producer sur des exemples
Jour 2 - Matin
Consumers sous Kafka
- Les partitions et leurs rôles dans l'évolutivité et la tolérance aux pannes
- Configuration des consumers
- Créer un fichier "consumer.properties" personnalisé
- Utiliser l'API du consommateur pour gérer les décalages
- Optimiser les requêtes de récupération
Exemple de travaux pratiques (à titre indicatif)
- Utilisation de l'API Producer sur des exemples
Gestion des schémas dans Kafka
- Introduction à Avro
- Les schémas Avro
- Utilisation du Schema Registry
Exemple de travaux pratiques (à titre indicatif)
- Définition d'un schéma Avro, enregistrement dans Schema Registry, et production de messages Avro
Jour 2 - Après-midi
Kafka Streams
- Les motivations pour Kafka Streams
- Les fondamentaux de Kafka Streams
- Exploration d'une application Kafka Streams
Exemple de travaux pratiques (à titre indicatif)
- Utilisation de l'API Streams sur des exemples
Kafka Connect
- Les connecteurs couramment utilisés
- Expliquer les différences entre le mode autonome et le mode distribué
Exemples de travaux pratiques (à titre indicatif)
- Configurer et utiliser Kafka Connect
- Développement d'un connecteur simple
- Produire des données à Kafka et les consommer en temps réel
- Création d'une application Kafka Streams pour effectuer des traitements en temps réel
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
-
#
M2I BOOST APRÈS VOTRE FORMATION
Réactivation et consolidation des acquis en situation de travail
- 30 jours d’accompagnement personnalisé sur myM2i inclus ²
- Ressources Boosters (Abonnement au M2i’Mag Soft Skills, formations offertes, invitations aux conférences d’actualité…)
- ¹ Les actions et les outils présentés dans ce programme le sont à titre indicatif et peuvent faire l’objet d'adaptation selon les niveaux, prérequis et besoins des apprenants. Les compétences clés de ce programme sont traitées à raison d'une compétence par demi-journée de formation.
- ² Sur myM2i, pendant 30 jours post-fin de formation, les apprenants disposent d’une messagerie sécurisée pour échanger, dans la limite de 4 sollicitations, avec leur formateur.
Modalités, méthodes et moyens pédagogiques
Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
- Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
- Environnements de formation installés sur les postes de travail ou en ligne
- Supports de cours et exercices
En cas de formation intra sur site externe à M2I, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Accessibilité de la formation
Le groupe M2I s'engage pour faciliter l'accessibilité de ses formations. Toutes nos formations sont accessibles aux personnes en situation de handicap : les détails de l'accueil des personnes sont consultables sur la page Politique Handicap.
Modalités et délais d’accès à la formation
Les formations M2I sont disponibles selon les modalités proposées sur la page programme. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Dans le cas d'une formation financée par le CPF, ce délai est porté à 11 jours ouvrés.
