Accueil › Formations › Informatique › Big Data › Big Data - Développement › Ingestion et indexation de données avec Logstash et Elasticsearch
Objectifs pédagogiques / Compétences visées
- Définir la stack ELK
- Identifier les enjeux et les cas d'utilisation d'un moteur de recherche
- Expliquer comment indexer des données Log
- Analyser les données Log.
Niveau requis
Avoir des bases en développement.
Public concerné
Développeurs de logiciels, ingénieurs en logiciels, architectes de données, sur Data Analyst et Data Engineer.
Programme
Introduction NoSQL
- Nature et exigence de stockage
- Regard sur les BDD relationnelles
- Théorème de CAP
- Les familles des BDD NoSQL
- NoSQL, comparatif et use case
Stack ELK, présentation
- L'histoire de Elastic Stack
- Pourquoi Elastic Stack
- Les composants de Elastic Stack
- La donnée sur ES
- Cas d'utilisation
- Les fichiers de configuration
Exemple de travaux pratiques (à titre indicatif)
- Installation de Elasticsearch
Logstash
- Fonctionnement et concepts
- Différence entre Logstash et Beats
- Logstash vs outil ingestion Big Data
- Installation et configuration de base
- Type de données à ingérer
- Création et configuration d'un pipeline
Exemple de travaux pratiques (à titre indicatif)
- Installation de Elasticsearch
Gestion et analyseur de documents
- Indexation, récupération et suppression de documents
- Composants d'un index
- Analyse de texte pour l'indexation et la recherche
- Mapping et la configuration des index
- Les analyzers
- Recherche multi-champs
- Tri
- Pagination
Cas d'utilisation réel avec Elasticsearch et Logstash
- Mettre en place une architecture Logstash, Kibana
- Utilisation des Filebeat avec Logstash
- Utilisation de Logstash pour l'indexation des fichiers CSV
- Visualiser sur Kibana le résultat de l'indexation
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation ou une certification (M2i ou éditeur)
