fff

Combien de stagiaires suivront cette formation ?


Valider Annuler

Partager
Accueil    Formations    Informatique    Data    Big Data - Développement    Data Engineering avec Kafka, Cassandra et Spark

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Public concerné

Développeurs, architectes Data, Data Analysts et/ou Data Engineers.

Prérequis

Avoir des connaissances sur Shell et Python.

Validez les prérequis

Afin de vérifier que vous disposez bien des prérequis nécessaires à cette formation, nous vous invitons à réaliser ce test.

Temps estimé : 4 minutes.

Passer le test

Objectifs de formation

A l'issue de cette formation, vous serez capable de :

  • Gérer les outils Spark, Cassandra et Kafka
  • Intégrer ses outils dans un même environnement
  • Développer une solution de Data Engineering de bout en bout avec Spark, Cassandra et Kafka
  • Identifier les points critiques et les leviers d'amélioration de la performance.

Programme de votre formation

  1. #

    M2i START AVANT VOTRE FORMATION

    Contextualisation du projet de formation et prise en compte des besoins de chacun

    • Positionnement initial de l’apprenant par rapport aux objectifs
    • Définition des priorités et des objectifs personnels de l’apprenant
    • Vidéos de mise en situation
    • Accès au Chat interactif myM2i pour interagir avec les membres de son groupe
    m2i_start_logo
  2. #

    M2i LIVE VOTRE FORMATION ANIMÉE PAR NOTRE EXPERT ¹

    Programme

    Jour 1

    Introduction à Kafka

    • Kafka : une plateforme de données de flux
    • Un aperçu de Kafka et de son efficacité
    • Producers
    • Brokers
    • Consumers

    Installation et architecture

    • Installation et options avancées
    • Fichiers journaux de Kafka
    • Réplication et fiabilité
    • Chemins d'écriture et de lecture de Kafka
    • Partitions, consumer groups et scalability

    Développement et mise en oeuvre

    • Cas d'utilisation de Kafka Streams
    • Kafka Streams
    • Etude d'une application et usage de Kafka Streams

    Jour 2

    Introduction à Cassandra

    • Introduction au NoSQL
    • Prérequis de Cassandra
    • Installation
    • Fichier de configuration : conf/cassandra.yaml
    • L'architecture
    • Les réplications
    Exemples de travaux pratiques (à titre indicatif)
    • Commandes de base
      • Connexion au système de base de données
      • Création de colonnes
      • Insertion
      • Modification recherche
    • Définition des colonnes et des types de données
    • Définition d'une clé primaire
    • Reconnaître une clé de partition
    • Le CQL : Cassandra Query Language
    • Exécution de scripts
    • Data Modeling
    • Créer une application
    • Ajout des noeuds

    Jour 3

    Apache Spark

    • Introduction à Spark
    • Vue d'ensemble de Spark
    • Ecosystème Spark
    • Spark vs Hadoop
    • Installation et configuration
    Exemples de travaux pratiques (à titre indicatif)
    • Remise à niveau Python / Scala
    • Spark :
      • RDD (Resilient Distributed Dataset)
      • DataFrame
      • SQL
      • Streaming
      • MLlib
      • GraphX
    • Création d'applications Spark

    Jour 4

    • Projet avec la mise en oeuvre d'une solution bout en bout (ingestion, stockage et calcul) via :
      • Kafka
      • Cassandra
      • Spark

    Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

    m2i_live_logo
  3. #

    M2i BOOST APRÈS VOTRE FORMATION

    Réactivation et consolidation des acquis en situation de travail

    • 30 jours d’accompagnement personnalisé sur myM2i inclus ²
    • Ressources Boosters (Abonnement au M2i’Mag Soft Skills, formations offertes, invitations aux conférences d’actualité…)
    m2i_boost_logo
  1. ¹ Les actions et les outils présentés dans ce programme le sont à titre indicatif et peuvent faire l’objet d'adaptation selon les niveaux, prérequis et besoins des apprenants. Les compétences clés de ce programme sont traitées à raison d'une compétence par demi-journée de formation.
  2. ² Sur myM2i, pendant 30 jours post-fin de formation, les apprenants disposent d’une messagerie sécurisée pour échanger, dans la limite de 4 sollicitations, avec leur formateur.

Modalités, méthodes et moyens pédagogiques

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).

Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).

Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :

  • Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
  • Environnements de formation installés sur les postes de travail ou en ligne
  • Supports de cours et exercices

En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.

* nous consulter pour la faisabilité en distanciel

** ratio variable selon le cours suivi

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation

Accessibilité de la formation

Le groupe M2i s'engage pour faciliter l'accessibilité de ses formations. Toutes nos formations sont accessibles aux personnes en situation de handicap : les détails de l'accueil des personnes sont consultables sur la page Accueil PSH.

Modalités et délais d’accès à la formation

Les formations M2i sont disponibles selon les modalités proposées sur la page programme. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Dans le cas d'une formation financée par le CPF, ce délai est porté à 11 jours ouvrés.

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Vous souhaitez suivre cette formation ?

Cette formation est disponible en présentiel ou en classe à distance, avec un programme et une qualité pédagogique identiques.

Tarif : à partir de 3 040 € HT.

Choisissez la modalité souhaitée pour vous inscrire :

Formation disponible en intra-entreprise

Votre société a besoin d'une offre personnalisée ? Contactez-nous

string(21) ""
string(21) ""
string(21) ""

Découvrez les autres formations susceptibles de vous intéresser :

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.