Téléchargez le parcours au format PDF
Automatisation avec AnsibleTop ventes
Top ventes
2 jours
Perfectionnement / Avancé
Présentiel Classe à distance
CPF
Partager
Accueil › Formations › Informatique › Data › Big Data - MLOps et DataOps › DataOps - Concevoir et automatiser des pipelines résilients et scalables
Public concerné
Ingénieurs DevOps, ingénieurs Data, Data Scientists, Data Analysts, développeurs, architectes Data, chefs de projets, managers, cadres dirigeants, consultants.
Validez les prérequis
Afin de vérifier que vous disposez bien des prérequis nécessaires à cette formation, nous vous invitons à réaliser ce test.
Temps estimé : 4 minutes.
Passer le testObjectifs de formation
A l'issue de cette formation, vous serez capable de :
- Définir une stratégie Data ambitieuse et réaliste
- Evaluer les priorités Data de l'organisation en fonction de l'état des lieux et de la vision
- Identifier et pratiquer les meilleures technologies disponibles et leur articulation / complémentarité (MLflow, Airflow, DVC, Delta Lake, Evidently AI, Optuna...)
- Construire des plateformes DataOps pour minimiser le Time To Value.
Programme de votre formation
-
#
M2I START AVANT VOTRE FORMATION
Contextualisation du projet de formation et prise en compte des besoins de chacun
- Positionnement initial de l’apprenant par rapport aux objectifs
- Définition des priorités et des objectifs personnels de l’apprenant
- Vidéos de mise en situation
- Accès au Chat interactif myM2i pour interagir avec les membres de son groupe
-
#
M2I LIVE VOTRE FORMATION ANIMÉE PAR NOTRE EXPERT ¹
Programme
Jour 1
Fondamentaux
- Qu'est-ce qu'une donnée ?
- Evolution des analytiques : des Data Warehouses aux Lakehouses et Data Mesh
- Stratégie des données, valeur des données, sémantique des données, BPM (Business Process Management)
- La stratégie des données, et différence avec les stratégies IT et de gouvernance de données
- Définir la vision
- Déterminer et aligner les objectifs des pipelines avec la vision
- Cartographie de la chaîne de valeur (Value Stream Mapping)
- Apports des analytiques et du Cloud
- Qu'est-ce qu'une organisation Data Driven ?
- Cycle de vie de la Data, gouvernance et qualité des données
- Lean, Agilité et DevOps appliqués aux données
- Apports du DataOps
- DevOps vs DataOps vs MLOps
- Analytiques et opérations : briser le mur de la confusion
- Constituer et former les Data Teams
- Introduction à Microsoft Azure
- Etudes de cas DataOps
Exemple de travaux pratiques (à titre indicatif)
- Contrôle de version des données avec DVC et Git
Jour 2
Scoping et définition des éléments des pipelines DataOps
- Processus de développement Agile DataOps : idéation, "inception", R&D, transition / production
- Conception de pipelines
- Les trois variantes d'implémentation de pipelines
- MLflow: la plateforme indispensable pour le tracking des expériences et la gestion des modèles
- Exemples d'implémentations avec MLflow Projects et MLflow Recipes
- Importance du versioning modèle-dataset pour la traçabilité
Exemples de travaux pratiques (à titre indicatif)
- Création d'un pipeline MLflow intégrant Git et DVC
- Déploiement du meilleur modèle suite à Grid Search / Randomized Search / Optimisation bayésienne
- Détection du data drift et du feature drift avec MLflow et Evidently
Jour 3
Les technologies DataOps
- Ecosystème des technologies DataOps
- Build vs Buy
- Choisir les bons outils : cartes de Wardley, radar technologique
- Intégration, préparation, traitement et management des données
- Reproductibilité, déploiement, orchestration, et surveillance
- Infrastructure de calcul et moteur d'exécution de requêtes
- Stockage, plateformes et outils d'analytics
- Faire évoluer la pile technologique
- Concevoir des pipelines robustes avec Airflow
- Planifier des workflows complexes avec Airflow
Exemples de travaux pratiques (à titre indicatif)
- Amélioration du pipeline précédent avec Airflow
- Planification de l'exécution du pipeline en fonction d'évènements
Jour 4
Produire la valeur
- Planifier les itérations
- Extraire la valeur des données
- Surveiller la qualité avec la MSP (Maîtrise Statistique des Procédés)
- Mesurer les bénéfices
- Animer les rétrospectives et assurer l'amélioration continue
Exemples de travaux pratiques (à titre indicatif)
- Optimiser l'empreinte des modèles (CPU, RAM, stockage) avec MLflow et Optuna
- Serving de plusieurs modèles via un seul point de terminaison avec MLflow et PyFunc
Jour 5
Le DataOps Factory
- Importance de la gouvernance des données
- Culture DataOps et conduite du changement
- Centraliser les plateformes : exemple de Delta Lake
- Tout automatiser
- L'organisation Self-Service
Exemples de travaux pratiques (à titre indicatif)
- IA responsable : suivre l'interprétabilité et l'explicabilité des modèles avec MLflow, SHAP, LIME et interpretML
- Mise en place d'une plateforme de données avec Spark et Delta Lake
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
-
#
M2I BOOST APRÈS VOTRE FORMATION
Réactivation et consolidation des acquis en situation de travail
- 30 jours d’accompagnement personnalisé sur myM2i inclus ²
- Ressources Boosters (Abonnement au M2i’Mag Soft Skills, formations offertes, invitations aux conférences d’actualité…)
- ¹ Les actions et les outils présentés dans ce programme le sont à titre indicatif et peuvent faire l’objet d'adaptation selon les niveaux, prérequis et besoins des apprenants. Les compétences clés de ce programme sont traitées à raison d'une compétence par demi-journée de formation.
- ² Sur myM2i, pendant 30 jours post-fin de formation, les apprenants disposent d’une messagerie sécurisée pour échanger, dans la limite de 4 sollicitations, avec leur formateur.
Modalités, méthodes et moyens pédagogiques
Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
- Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
- Environnements de formation installés sur les postes de travail ou en ligne
- Supports de cours et exercices
En cas de formation intra sur site externe à M2I, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Accessibilité de la formation
Le groupe M2I s'engage pour faciliter l'accessibilité de ses formations. Toutes nos formations sont accessibles aux personnes en situation de handicap : les détails de l'accueil des personnes sont consultables sur la page Politique Handicap.
Modalités et délais d’accès à la formation
Les formations M2I sont disponibles selon les modalités proposées sur la page programme. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Dans le cas d'une formation financée par le CPF, ce délai est porté à 12 jours ouvrés.
