> Tech > Transformation des données

Transformation des données

Tech - Par Renaud ROSSET - Publié le 24 juin 2010
email

Le modèle de transformation des données définit le processus de transformation et de nettoyage qui convertit les données des systèmes sources et les insère dans l'entrepôt de données. Les objets les plus importants dans ce domaine complexe sont relatifs à  la création de liens entre les colonnes de l'entrepôt et

leurs
colonnes sources initiales. La manière dont les données sont converties est particulièrement
importante pour les analystes de data warehouses. En revanche, les utilisateurs
finaux ont besoin des descriptions textuelles du processus, mais pas du code ni
du script pour comprendre comment les données sont transformées ou nettoyées.

A l’instar du modèle OLAP, le modèle de transformation possède un sous-modèle
pour stocker les objets spécifiques aux modules de transformation DTS. DTS peuple
automatiquement le modèle de transformation lorsqu’on sauvegarde les packages
dans un référentiel.

La figure 2 montre comment tracer un élément depuis la cible (la colonne de l’entrepôt)
jusqu’à  sa source (les colonnes du système source). Ici, l’héritage dans le modèle
devient important pour comprendre comment fonctionne le modèle. L’objet ModelElement
est un des objets de base du modèle UML ; la plupart des autres objets héritent
(indirectement) de lui. Dans le cas présent, les objets appropriés qui ont hérité
de lui sont les colonnes, les tables et les champs d’enregistrements qui sont
les sources et les cibles pour la plupart des transformations. Le modèle ne les
montre pas explicitement, car la chaîne d’héritage est très longue. Le cycle commence
par un ModelElement qui représente la colonne de l’entrepôt de données, la collection
supplierDependency récupère un TransformableObjectSet.
Ce dernier représente une collection d’objets qui sont la source ou la cible d’une
transformation. Le passage en revue de la collection TargetOf vous amène aux transformations
dont cette colonne est la cible. Revenir au TransformableObjectSet en passant
par la collection Source donne l’ensemble qui est la source de la transformation.
Suivez la collection TransformObjects pour trouver les objets sources (colonnes,
dans le cas de DTS).

Ce processus est relativement compliqué à  suivre, mais la complexité du modèle
permet de modéliser des scripts ou des codes, voire d’autres processus communs
de nettoyage et de transformation, utilisés par de nombreux outils. Pour avoir
un exemple de la manière de parcourir ce modèle, consultez l’échantillon de code
Visual Basic (VB) du listing 1. Il commence par une colonne d’entrepôt (roWHCol),
puis revient au TransformableObjectSet du côté de l’entrepôt (roWHTransObjSet).
Ensuite, il suit le chemin revenant vers la transformation (roTransform), et de
là  au TransformableObjectSet, côté source (roSrcTransObjSet). L’étape finale consiste
à  attacher les colonnes (dans roSrcCol) à  l’ensemble d’objets sources transformables.

Téléchargez cette ressource

Guide de Sécurité IA et IoT

Guide de Sécurité IA et IoT

Compte tenu de l'ampleur des changements que l'IA est susceptible d'entraîner, les organisations doivent élaborer une stratégie pour se préparer à adopter et à sécuriser l'IA. Découvrez dans ce Livre blanc Kaspersky quatre stratégies efficaces pour sécuriser l'IA et l'IoT.

Tech - Par Renaud ROSSET - Publié le 24 juin 2010