Eai / etl : problématique d’intégration de données

• Problématique sous forme de métaphore
• Qu’est-ce qu’un outil EAI ?
• Qu’est-ce qu’un outil ETL ?
• Fonctionnalités BO Data Integrator
• Structure de données et chargement

Architecture générale et installation

• Architecture
• Data Integrator Designer
• Référentiel
• Data Integrator Job Server
• Data Integrator Access Server
• Exemple d’architecture
• Installation

Définition et import de méta-données

• Interface de Data Integrator Designer
• Datastore
• Définir un Datastore
• Import des méta-données d’un Datastore
• Visualisation des méta-données d’un Datastore
• Connaissance et qualification des données
• Format de fichiers

Hiérarchie d’objets et etl basique

• Orientation objet
• Projet
• Job
• Work Flow
• Data Flow
• Exemples de relations entre objets
• Scénario simple
• Table cible
• Validation
• Débogage

Transformations et fonctions

• Transformation VS fonctions
• Accés et rôle des transformations
• Transformation : Case
• Transformation : Row Generation, Date Generation, Hierarchy Flattening
• Transformation : Pivot, Reverse Pivot, SQL
• Fonctions : Accès et liste
• Fonctions : Lockup
• Transformation : Table comparaison, History Preserving
• Transformation : Key Generation, Effective Date, Map Operation

Réutilisation d’objets et parallélisme

• Réutilisation d’objets
• Imbrication : Work Flows, Data Flows, par découpage graphique, par insertion directe
• Ordre d’exécution
• Partitions de tables
• Parallélisme
• Variables, paramètres et scripts
• Variables globales
• Variables locales
• Paramètres
• Scripts : caractéristiques du langage SQL, création d’un script
• Variables et fichiers
• Fonctions personnalisées
• Création d’une fonction

Mémorisation des modifications

• Problématique
• Techniques incrémentales et terminologie
• Timestamps : principes d’utilisation, mise en place

Mécanismes de reprise

• Reprise de données : reprise matique, reprise manuelle
• Détection et traitement des erreurs

Administration de jobs

• Rappel des composants principaux
• Interface d’administration
• Relations référentielles – Job Server
• Gestion des jobs : depuis Designer – Monitor, depuis Designer – Log
• Connexion à l’administrateur : accueil, gestion des acteurs, déclaration des référentiels
• Exécution : immédiate, différée

Reporting et méta-données

• Configuration et modalités d’accès
• Rapports prédéfinis
• Repository Summary
• Datastore analysis
• Table information
• Table lineage et table impact
• Column Mapping
• Column lineage et column impact
• Operational statistics
• Dependancy Analysis
• Outils
• Tables : Relations entre tables
• Vues

Gestion de projets

• Problématique
• Environnement multi-utilisateurs
• Référentiel central
• Check Out / Check In
• Objet : récupération, comparaison, suppression
• Migration