Accueil  ›  Formations  ›  Informatique  ›  Big Data  ›  Data Engineering  ›  Big Data - Les techniques d'analyse et de visualisation

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Comment utiliser vos droits
sur Mon Compte Formation

Objectifs pédagogiques

  • Charger et analyser des données de toute source avec Hadoop et Spark
  • Restituer ces données avec les outils de DataViz en Big Data.

Niveau requis

Avoir des connaissances en SI et en langage Python, ou Scala, pour l'analyse de données via Spark. Maîtriser le langage de requêtage SQL. Avoir des connaissances en ETL et/ou en BI est un plus.

Public concerné

Développeurs, chefs de projets, responsables qualité.

Programme

Présentation du Big Data

  • Introduction au Big Data : de quoi s'agit-il ?
  • Perspectives offertes par le Big Data
  • Les acteurs du Big Data
  • Exemples pratiques
  • Démystification du Big Data
  • Les technologies concernées
  • Les différents métiers du Big Data

Architecture Hadoop

  • Les outils de stockage
  • Les exigences de stockage
  • Le théorème de CAP
  • Le NoSQL
  • L'écosystème Hadoop
    • HDFS
    • MapReduce
  • Les outils d'analyse de données
    • Pig
    • Hive
    • Impala
  • La mise en qualité
  • Le stockage de données

L'ingestion et le stockage des données

  • Importance de la qualité des données
  • Qu'est-ce que la qualité des données ?
  • L'ingestion des données / ETL en Big Data

Introduction à Kafka

  • Historique et complexité des systèmes
  • Le traitement en temps réel : une importance dans le business
  • Kafka : une plateforme de flux de données
  • Aperçu de Kafka et son efficacité
  • Producers
  • Brokers
  • Consumers

Développement et mise en oeuvre de Kafka

  • Cas d'utilisation de Kafka Streams
  • Kafka Streams : les fondamentaux
  • Etude d'une application et usage de Kafka Streams

NiFi

  • Différence entre données froides et données chaudes
  • Présentation des outils et technologies du Big Data
  • Installation et configuration de NiFi
  • Vue d'ensemble de l'architecture NiFi
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité
  • Mise en oeuvre de NiFi

Spark et Spark Streaming

  • Introduction à Apache Spark
  • Architecture de Spark
  • Apache Spark MLlib
  • Apache Spark Streaming
  • Apache Spark SQL
  • Apache Spark GraphX

Exemples de travaux pratiques (à titre indicatif)

  • Ingérer des données à partir de périphériques IoT et à l'aide d'API Web
  • Développer un processeur Apache NiFi personnalisé à l'aide de JSON
  • Ingérer des données avec Kafka et NiFi
  • Cas pratiques avec Spark

Certification (en option)

  • Prévoir l'achat de la certification en supplément
  • L'examen (en français) sera passé le dernier jour, à l'issue de la formation et s'effectuera en ligne
  • Il s'agit d'un QCM dont la durée moyenne est d'1h30 et dont le score obtenu attestera d'un niveau de compétence

Modalités d’évaluation des acquis

L'évaluation des acquis se fait :

  • En cours de formation, par des études de cas ou des travaux pratiques
  • Et, en fin de formation, par un questionnaire d'auto-évaluation ou une certification (M2i ou éditeur)

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Vous souhaitez suivre cette formation ?

Cette formation est disponible en présentiel ou en classe à distance, avec un programme et une qualité pédagogique identiques.

Choisissez la modalité souhaitée pour vous inscrire :

Modalité Présentiel, Classe à distance

Certification M2i Expertises Big Data (+ 120€)

Financements CPF & Actions-CO

Votre société a besoin d'une offre personnalisée ? Contactez-nous

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.

Contactez-nous

×

Comment souhaitez-vous partager ?

Sur Facebook

Sur Linkedin

Sur Twitter

Par e-mail

×

Toutes nos formations sont maintenues et disponibles :

  • En classe à distance, avec la même durée, le même programme et la même qualité pédagogique que le cours équivalent en présentiel.
  • En présentiel, dans le plus strict respect des mesures sanitaires, pour les formations ne pouvant être suivies à distance.

Nos équipes restent disponibles par mail et par téléphone pour vous guider dans votre projet de formation.

Quand souhaitez-vous commencer ?