fff

Combien de stagiaires suivront cette formation ?


Valider Annuler

Accueil    Formations    Informatique    IBM    IBM InfoSphere DataStage    IBM InfoSphere Advanced DataStage - Parallel Framework 11.5

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Objectifs de formation

A l'issue de cette formation, vous serez capable de :

  • Décrire l'architecture parallèle et les rôles et éléments des fichiers de configuration de DataStage
  • Décrire le processus d'exécution du runtime job
  • Expliquer comment fonctionne le partitionnement et la collecte de données dans la structure parallèle
  • Lister et sélectionner les algorithmes de partionnement et de collecte
  • Décrire les techniques d'optimisation de tri et la fonction tampon dans la structure parallèle
  • Décrire les techniques d'optimisation de tampon
  • Reconnaître et travailler les types de données et éléments de la structure parallèle
  • Décrire le fonctionnement et l'utilisation de la propagation de la colonne Runtime (RCP)
  • Créer des composants réutilisables d'emploi à l'aide de conteneurs partagés
  • Décrire le fonctionnement et l'utilisation de l'optimisation équilibré
  • Optimiser les travaux parallèles DataStage.

Modalités, méthodes et moyens pédagogiques

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).

Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).

Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :

  • Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
  • Environnements de formation installés sur les postes de travail ou en ligne
  • Supports de cours et exercices

En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.

* nous consulter pour la faisabilité en distanciel

** ratio variable selon le cours suivi

Prérequis

Avoir suivi la formation IBM-DATFND "IBM InfoSphere DataStage – Essentials" ou avoir les connaissances équivalentes.

Public concerné

Développeurs DataStage expérimentés souhaitant approfondir leurs connaissances dans la mise en oeuvre de techniques avancées et la compréhension de l'architecture parallèle framework.

Programme

Introduction à l'architecture de cadres parallèles

  • Décrire l'architecture de traitement en parallèle
  • Décrire le parallélisme des pipelines et des partitions
  • Décrire le rôle du fichier de configuration
  • Concevoir un travail qui crée des données de test robustes

Compilation et exécution de travaux

  • Décrire les principales parties du fichier de configuration
  • Décrire le processus de compilation et la SST que le processus de compilation génère
  • Décrire le rôle et les principales parties du SCORE (Solution for Compliance in a Regulated Environment)
  • Décrire le processus d'exécution du travail 3
  • Partitionnement et collecte de données
  • Comprendre comment fonctionne le partitionnement dans le cadre
  • Affichage des partitions dans le SCORE
  • Sélection d'algorithmes de partitionnement
  • Générer des séquences de nombres (clés de substitution) dans un environnement partitionné et parallèle

Tri des données

  • Trier les données dans le cadre parallèle
  • Trouver des tris insérés dans le SCORE
  • Réduire le nombre de tris insérés
  • Optimiser les travaux de Fork-Join
  • Utilisez les étapes de tri pour déterminer la dernière ligne d'un groupe
  • Décrire la clé de tri et la logique de la clé de partition dans le cadre parallèle

Buffering dans les jobs parallèles

  • Décrire le fonctionnement du tamponnage en parallèle
  • Accorder des tampons dans des tâches parallèles
  • Evitez les conflits de mémoire tampon

Types de données de cadre parallèle

  • Décrire les ensembles de données virtuelles
  • Décrire les schémas
  • Décrire les mappages et les conversions de type de données
  • Décrire la façon dont les données externes sont traitées
  • Manipuler des "nulls"
  • Travailler avec des données complexes

Composants réutilisables

  • Créer un fichier de schéma
  • Lire un fichier séquentiel à l'aide d'un schéma
  • Décrire la propagation de colonne d'exécution (RCP)
  • Activer et désactiver RCP
  • Créer et utiliser des conteneurs partagés

Optimisation équilibrée

  • Activer la fonctionnalité d'optimisation équilibrée dans Designer
  • Décrire le flux de travail de Balanced Optimization
  • Enumérer les différentes options de Balanced Optimization
  • Traitement en mode push à une source de données
  • Traitement en mode push vers une cible de données
  • Optimiser un accès au système Hadoop HDFS
  • Comprendre les limites des Balanced Optimizations

Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.

Modalités d’évaluation des acquis

  • En cours de formation, par des études de cas ou des travaux pratiques

Les + de la formation

Référence officielle IBM : KM404.

Accessibilité de la formation

Le groupe M2i s'engage pour faciliter l'accessibilité de ses formations. Les détails de l'accueil des personnes en situation de handicap sont consultables sur la page Accueil et Handicap.

Modalités et délais d’accès à la formation

Les formations M2i sont disponibles selon les modalités proposées sur la page programme. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Dans le cas d'une formation financée par le CPF, ce délai est porté à 11 jours ouvrés.

Partager cette formation Télécharger au format pdf Ajouter à mes favoris

Vous souhaitez suivre cette formation ?

Cette formation est disponible en présentiel ou en classe à distance, avec un programme et une qualité pédagogique identiques.

Choisissez la modalité souhaitée pour vous inscrire :

Formation disponible en intra-entreprise

Votre société a besoin d'une offre personnalisée ? Contactez-nous

Faites-nous part de votre projet de formation, nous sommes là pour vous guider.

Contactez-nous