5 jours
Perfectionnement / Avancé
Présentiel Classe à distance
Partager
Accueil › Formations › Intelligence Artificielle › Concevoir, développer, administrer et sécuriser l'IA › LLM engineering et RAG › Déployer une Intelligence Artificielle (IA) open source en local
Public concerné
Data Scientists, Data Analysts, ingénieurs Data, ingénieurs MLOps, développeurs, architectes Data, cadres dirigeants, managers, chefs de projets, managers de produits IA.
Prérequis
Avoir suivi la formation IA-INTRO "Intelligence Artificielle (IA) pour les spécialistes de l'IT - Techniques, cas d'usage et innovations", ou avoir des compétences équivalentes. Etre familier avec le langage Python.
Objectifs de formation
A l'issue de cette formation, vous serez capable de :
- Définir les exigences fonctionnelles et non-fonctionnelles de votre modèle, ainsi que les tests
- Comparer les différents modèles open source du marché selon les principales métriques
- Explorer les différentes alternatives pour entraîner votre modèle : from scratch, transfer learning, prompting, distillation, RLHF, mixture of experts, LoRA et PEFT
- Spécifier et chiffrer les alternatives architecturales locales capables d'héberger votre modèle
- Déployer et surveiller votre modèle en production, et optimiser vos inférences.
Programme de votre formation
-
#
M2I START AVANT VOTRE FORMATION
Contextualisation du projet de formation et prise en compte des besoins de chacun
- Positionnement initial de l’apprenant par rapport aux objectifs
- Définition des priorités et des objectifs personnels de l’apprenant
- Vidéos de mise en situation
- Accès au Chat interactif myM2i pour interagir avec les membres de son groupe
-
#
M2I LIVE VOTRE FORMATION ANIMÉE PAR NOTRE EXPERT ¹
Programme
Jour 1 - Matin
Introduction
- Dernières avancées dans la production de modèles d'IA
- Planification d'applications IA : les grands jalons
- IA closed source vs IA open source : comparatif des avantages et inconvénients
- Ingénierie des coûts
- Modèles open source :
- Polyvalents (Mistral/Mixtral, Llama, Falcon)
- Légers (Phi-3, Gemma, TinyLlama)
- Spécialisés (CodeLlama, Meditron)
- Exigences matérielles pour chaque type de modèle (mémoire, CPU/GPU/multi-GPU/cluster/cloud privé, réseautage)
- Ingénierie d'Intelligences Artificielles : des LLM aux modèles fondateurs et écosystèmes d'IA
- Ingénierie des datasets :
- Traitement
- Enrichissement
- Augmentation
- Synthèse des données
- Les trois couches de la stack IA
Exemples de travaux pratiques (à titre indicatif)
- A partir d'une étude de cas : recueil des besoins, étude de faisabilité, estimation du budget et des ressources, sélection d'une solution, implémentation de l'application IA, tests
Jour 1 - Après-midi
Les modèles fondateurs
- Qu'est-ce qu'un modèle fondateur, exemples
- Processus de création d'un modèle fondateur
- Données d'apprentissage
- Modélisation : architecture du modèle, taille du modèle
- Alternatives d'entrainement :
- From scratch
- Transfer learning
- Prompting
- Distillation
- RLHF
- Mixture of experts
- LoRA
- PEFT Affinage (fine tuning)
- Echantillonnage (stratégies, test time compute, sorties structurées)
- Infrastructures pour les LLM :
- Ollama
- LM Studio
- llama.cpp
- vLLM
- Unsloth
- Hugging Face
- Hub Space
- Optimisation des LLM :
- Quantization
- LoRA
- Fully sharded data parallel–quantized LoRA
- Défis et solutions dans la mise en production des LLM et LCM
Exemples de travaux pratiques (à titre indicatif)
- Réimplémentation du modèle open source Llama
- Amélioration du modèle avec la quantization et LoRA
- Déploiement, inférence, et surveillance
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
-
#
M2I BOOST APRÈS VOTRE FORMATION
Réactivation et consolidation des acquis en situation de travail
- 30 jours d’accompagnement personnalisé sur myM2i inclus ²
- Ressources Boosters (Abonnement au M2i’Mag Soft Skills, formations offertes, invitations aux conférences d’actualité…)
- ¹ Les actions et les outils présentés dans ce programme le sont à titre indicatif et peuvent faire l’objet d'adaptation selon les niveaux, prérequis et besoins des apprenants. Les compétences clés de ce programme sont traitées à raison d'une compétence par demi-journée de formation.
- ² Sur myM2i, pendant 30 jours post-fin de formation, les apprenants disposent d’une messagerie sécurisée pour échanger, dans la limite de 4 sollicitations, avec leur formateur.
Modalités, méthodes et moyens pédagogiques
Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
- Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
- Environnements de formation installés sur les postes de travail ou en ligne
- Supports de cours et exercices
En cas de formation intra sur site externe à M2I, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par un questionnaire d'auto-évaluation
Accessibilité de la formation
Le groupe M2I s'engage pour faciliter l'accessibilité de ses formations. Toutes nos formations sont accessibles aux personnes en situation de handicap : les détails de l'accueil des personnes sont consultables sur la page Politique Handicap
Modalités et délais d’accès à la formation
Les formations M2I sont disponibles selon les modalités proposées sur la page programme. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Dans le cas d'une formation financée par le CPF, ce délai est porté à 12 jours ouvrés.
