Public concerné
Testeurs logiciels, ingénieurs qualité, responsables qualité et tout professionnel souhaitant se spécialiser dans les tests de systèmes utilisant l'Intelligence Artificielle (IA).
Prérequis
Etre certifié ISTQB Niveau Fondation. Avoir une expérience ou sensibilisation préalable à l'évaluation de l'expérience utilisateur est souhaitable mais non obligatoire.
Objectifs de formation
A l'issue de cette formation, vous serez capable de :
- Résumer les principes fondamentaux de l'Intelligence Artificielle (IA)
- Cartographier les différentes caractéristiques de qualité des systèmes basés sur l'IA
- Décrire les concepts clés et les approches du Machine Learning (ML)
- Identifier les types de données utilisés en ML et décrire leur importance
- Evaluer la performance fonctionnelle des modèles de ML à l'aide de métriques adaptées
- Expliquer le fonctionnement des réseaux neuronaux et appliquer des stratégies de test adaptées
- Expliquer les enjeux et les principes généraux du test des systèmes basés sur l'IA
- Tester les caractéristiques de qualité spécifiques aux systèmes basés sur l'IA
- Appliquer des méthodes et techniques adaptées pour tester les systèmes basés sur l'IA
- Cartographier les environnements de test adaptés aux spécificités des systèmes IA
- Expliquer l'utilisation de l'IA pour optimiser et automatiser les processus de test
- Préparer et passer l'examen de certification.
Certification
CFTL - ISTQB Certified Tester AI Testing (CT-AI) (prix inclus)Les + de la formation
Spécificités : Syllabus 2021 Testeur certifié Test d'IA (CT-AI) Syllabus Version 1.0 (CFTL).
Programme de votre formation
-
#
M2I START AVANT VOTRE FORMATION
Contextualisation du projet de formation et prise en compte des besoins de chacun
- Positionnement initial de l’apprenant par rapport aux objectifs
- Définition des priorités et des objectifs personnels de l’apprenant
- Vidéos de mise en situation
- Accès au Chat interactif myM2i pour interagir avec les membres de son groupe
-
#
M2I LIVE VOTRE FORMATION ANIMÉE PAR NOTRE EXPERT ¹
Programme
Jour 1 - Matin
Introduction à l'IA
- Définition de l'IA et de l'effet de l'IA
- IA étroite, générale et super IA
- Systèmes basés sur l'IA et systèmes conventionnels
- Les technologies de l'IA
- Frameworks de développement de l'IA
- Matériel pour les systèmes basés sur l'IA
- L'IA en tant que service (AIaaS)
- Modèles pré-entraînés
- Normes, réglementations et IA
Exemples de travaux pratiques (à titre indicatif)
- Exercice pratique réalisé
- Comparaison entre systèmes classiques et systèmes basés sur l'IA via une étude de cas
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Caractéristiques de qualité des systèmes basés sur l'IA
- Flexibilité et adaptabilité
- Autonomie
- Evolution
- Biais
- Ethique
- Effets secondaires et piratage de récompense
- Transparence, interprétabilité et explicabilité
- Sûreté et IA
Exemples de travaux pratiques (à titre indicatif)
- Exercice pratique réalisé
- Analyse de l'impact des biais et de l'interprétabilité dans un système d'IA de recommandation
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Jour 1 - Après-midi
Machine Learning (ML) - Vue d'ensemble
- Formes de ML
- Workflow ML
- Sélectionner une forme de ML
- Facteurs impliqués dans la sélection d'un algorithme ML
- Sur-ajustement et sous-ajustement
Exemples de travaux pratiques (à titre indicatif)
- Exercice pratique réalisé
- Choix d'un algorithme de ML adapté à un problème de détection de fraude
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Jour 2 - Matin
ML - Données
- Préparation des données dans le cadre du workflow ML
- Ensembles de données d'apprentissage, de validation et de test dans le workflow ML
- Problèmes de qualité des données
- La qualité des données et son effet sur le modèle ML
- Etiquetage des données pour l'apprentissage supervisé
Exemples de travaux pratiques (à titre indicatif)
- Exercices pratique réalisé
- Améliorer la qualité des données pour mieux entraîner une IA simple (exemple : reconnaître des fruits)
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Jour 2 - Après-midi
ML - Métriques de performance fonctionnelle
- Matrice de confusion
- Métriques supplémentaires de performance fonctionnelle ML pour la classification, la régression et le clustering
- Limites des métriques de performance fonctionnelle ML
- Sélection des métriques de performance fonctionnelle de ML
- Suites de benchmarks pour ML
Exemples de travaux pratiques (à titre indicatif)
- Exercice pratique réalisé
- Evaluer les performances d'un modèle de prédiction simple à l'aide d'exemples concrets (prédire la météo, reconnaître des objets)
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Jour 3 - Matin
ML - Réseaux neuronaux et tests
- Réseaux neuronaux
- Mesures de couverture pour les réseaux neuronaux
Exemples de travaux pratiques (à titre indicatif)
- Exercices pratiques réalisés
- Observer comment un réseau de neurones apprend à reconnaître des images simples (exemple : chiffres ou animaux)
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Test des systèmes basés sur l'IA - Vue d'ensemble
- Spécification des systèmes basés sur l'IA
- Niveaux de test des systèmes basés sur l'IA
- Données de test pour tester les systèmes basés sur l'IA
- Test des biais d'automatisation des systèmes basés sur l'IA
- Documenter un modèle ML
- Tester la dérive du concept
- Choisir une approche de test pour un système ML
Exemples de travaux pratiques (à titre indicatif)
- Exercice pratique réalisé
- Imaginer et préparer un plan de test simple pour vérifier le bon fonctionnement d'une IA (exemple : une IA qui trie des e-mails)
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Jour 3 - Après-midi
Test des caractéristiques de qualité spécifiques à l'IA
- Les défis du test des systèmes d'auto-apprentissage
- Test des systèmes autonomes basés sur l'IA
- Tester les biais algorithmiques, les biais d'échantillonnage et les biais inappropriés
- Les défis du test des systèmes probabilistes et non-déterministes basés sur l'IA
Exemples de travaux pratiques (à titre indicatif)
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Jour 4 - Matin
Test des caractéristiques de qualité spécifiques à l'IA - Suite
- Les défis du test des systèmes complexes basés sur l'IA
- Tester la transparence, l'interprétabilité et l'explicabilité des systèmes basés sur l'IA
- Test d'oracles pour les systèmes basés sur l'IA
- Objectifs des tests et critères d'acceptation
Exemples de travaux pratiques (à titre indicatif)
- Exercice pratique réalisé
- Identifier et discuter des biais possibles dans une application d'IA du quotidien (exemple : suggestions de vidéos ou de musique)
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Jour 4 - Après-midi
Méthodes et techniques pour le test des systèmes basés sur l'IA
- Attaques adverses et empoisonnement des données
- Tests par paire
- Tests dos à dos
- Test A/B
- Test métamorphiques
- Test basé sur l'expérience des systèmes basés sur l'IA
- Sélectionner les techniques de test pour les systèmes basés sur l'IA
Exemples de travaux pratiques (à titre indicatif)
- Exercice pratique réalisé
- Explorer comment une IA peut être trompée et comment la rendre plus robuste (exemple : modification d'images pour tromper une reconnaissance)
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Environnements de test pour les systèmes basés sur l'IA
- Environnements de test pour les systèmes basés sur l'IA
- Environnements de test virtuels pour les tests d'IA
Exemples de travaux pratiques (à titre indicatif)
- Exercice pratique réalisé
- Imaginer un environnement simple pour tester une IA (exemple : tester un robot virtuel dans un jeu de labyrinthe)
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Jour 5 - Matin
Utilisation de l'IA pour les tests
- Technologies d'IA pour le test
- Utiliser l'IA pour analyser le reporting des défauts
- Utiliser l'IA pour la génération de cas de test
- Utiliser l'IA pour l'optimisation des suites de tests de régression
- Utiliser l'IA pour la prédiction des défauts
- Utiliser l'IA pour le test des interfaces utilisateurs
Exemples de travaux pratiques (à titre indicatif)
- Exercice pratique réalisé
- Découvrir comment une IA peut aider à créer ou améliorer des tests (exemple : générer automatiquement des idées de tests pour une application simple)
- Questions de types QCM
- 5 questions portant sur les différentes notions abordées dans cette partie
- Correction en groupe
Jour 5 - Après-midi
Préparation à la certification
- Présentation du dispositif d'examen (en présentiel ou à distance)
- Examen blanc de 20 questions
- Réalisation d'un examen blanc complet
- Correction en groupe commentée par le formateur
- Conseils méthodologiques
- Trucs et astuces pour réussir un QCM !
Passage de la certification
- Comme le précise le document "tableau de la structure et des règles des examens" de l'ISTQB, l'examen de certification est un QCM de 40 questions, en français, et il est nécessaire d'obtenir au moins 65% du nombre maximum de points possibles pour obtenir le certificat
- La durée est de 2 heures mais un temps additionnel peut être accordé aux personnes pouvant présenter :
- Une pièce d'identité valide émise par un pays dont le français n'est pas la langue maternelle ou,
- Un certificat de type "RQTH" (reconnaissance de la qualité de travailleur handicapé)
- Celui-ci peut être effectué :
- Sur tablette ou au format papier à la fin de la formation si la formation est organisée en présentiel
- A distance à une date et heure au choix, si la formation est organisée à distance ou si le candidat le souhaite
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
-
#
M2I BOOST APRÈS VOTRE FORMATION
Réactivation et consolidation des acquis en situation de travail
- 30 jours d’accompagnement personnalisé sur myM2i inclus ²
- Ressources Boosters (Abonnement au M2i’Mag Soft Skills, formations offertes, invitations aux conférences d’actualité…)
- ¹ Les actions et les outils présentés dans ce programme le sont à titre indicatif et peuvent faire l’objet d'adaptation selon les niveaux, prérequis et besoins des apprenants. Les compétences clés de ce programme sont traitées à raison d'une compétence par demi-journée de formation.
- ² Sur myM2i, pendant 30 jours post-fin de formation, les apprenants disposent d’une messagerie sécurisée pour échanger, dans la limite de 4 sollicitations, avec leur formateur.
Modalités, méthodes et moyens pédagogiques
Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
- Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
- Environnements de formation installés sur les postes de travail ou en ligne
- Supports de cours et exercices
En cas de formation intra sur site externe à M2I, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Modalités d’évaluation des acquis
- En cours de formation, par des études de cas ou des travaux pratiques
- Et, en fin de formation, par une certification, et/ou un questionnaire d'auto-évaluation
Accessibilité de la formation
Le groupe M2I s'engage pour faciliter l'accessibilité de ses formations. Toutes nos formations sont accessibles aux personnes en situation de handicap : les détails de l'accueil des personnes sont consultables sur la page Politique Handicap.
Modalités et délais d’accès à la formation
Les formations M2I sont disponibles selon les modalités proposées sur la page programme. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Dans le cas d'une formation financée par le CPF, ce délai est porté à 12 jours ouvrés.

