> Tech > Refonte du traitement des données dans SSIS

Refonte du traitement des données dans SSIS

Tech - Par Renaud ROSSET - Publié le 24 juin 2010
email

En matière de performances et de traitement des données, SSIS peut faire beaucoup plus que DTS, tout en procurant une meilleure évolutivité. Toutefois, si vous vous appuyez sur la seule sortie du DTS Migration Wizard, les fonctionnalités de traitement de données essentielles de SSIS n’entrent pas en jeu (de par

Refonte du traitement des données dans SSIS

la nature de la migration de DTS). Celles-ci incluent le moteur de pipeline de flux de données SSIS, lequel fournit des transformations, un nettoyage et des performances supérieures aux possibilités du modèle d’étapes intermédiaires et axé sur SQL Server de DTS. Voici quelques-uns des avantages du flux de données SSIS :
• Association de données en mémoire à partir de sources hétérogènes au moyen de fonctions de fusion, d’union et de recherche.
• Exploration de texte et de données afin de fournir une meilleure compréhension des relations entre les données et du contenu des champs de texte
• Groupement et tri pour les agrégations et le classement des données
• Routage et duplication des données, pour des destinations multiples et les insertions de données filtrées
• Nettoyage des données pour l’appariement des données basé sur la similarité
• Adaptateurs supplémentaires qui prennent en charge les sources et destinations XML, binary, SQL Server Mobile, OLE DB, ADO.NET et bien d’autres.

Lorsque vous appliquerez ces fonctionnalités de flux de données avancées à vos lots DTS migrés, vous libérerez toute la puissance de SSIS. Par exemple, supposons que nous procédions à la refonte du package SSIS mentionné précédemment pour tirer parti du flux de données dans SSIS. La figure 5 montre un flux de données unique servant à gérer la même logique présente dans le lot DTS original et le package initial résultant de la migration vers SSIS. Le package refondu utilise les transformations en mémoire Lookup, Merge Join, Aggregate, Sort et Derived Column. Cette refonte réduit les étapes synchrones liées à l’ancienne architecture et, du fait de l’architecture basée sur la mémoire du pipeline SSIS, elle réduit aussi les E/S disques. Globalement, l’exécution de cet exemple de package après la refonte est près de 40 fois plus rapide qu’avec le package migré.

Autre aspect intéressant, lorsque vous suivez les compteurs Disque physique, la nouvelle mouture du package utilise 50 pour cent d’E/S en moins et, en fait, réduit également l’utilisation moyenne du processeur de 35 pour cent à 25 pour cent, d’où plus de capacité disponible pour l’exécution d’autres processus et packages sur le serveur. Dans ce cas, les niveaux/étapes intermédiaires concernant les données deviennent-elles superflues ? Dans de nombreux cas, les niveaux intermédiaires ne sont pas nécessaires, mais quelques situations requièrent leur utilisation. Par exemple, ils peuvent aider à respecter des exigences de validation des données, à fournir une capture à un instant donné d’une source volatile ou contribuer à aligner les sources pour lesquelles les temps d’extraction ne se chevauchent pas. SQL Server peut également fournir des fonctionnalités précieuses avec des mises à jour ou suppressions basées sur des ensembles, des opérations récursives et des tâches d’audit et d’administration ETL.

Lors du choix d’utiliser des niveaux intermédiaires des données dans les packages migrés, posez-vous les questions suivantes : « Quelles étapes intermédiaires ou étapes SQL Server ont été employées du fait de l’architecture basée sur DTS ? » et « Pour ces étapes, comment puis-je exploiter le flux de données SSIS ? » Il est vrai, toutefois, que l’effet net sera une réduction des niveaux intermédiaires et des tâches SQL Server séquentielles et que cela aboutira à un accroissement global de l’évolutivité du serveur et à une réduction des temps de traitement.

Téléchargez cette ressource

Cybersécurité des collectivités : Enjeux, Perspectives & Solutions

Cybersécurité des collectivités : Enjeux, Perspectives & Solutions

Villes, intercommunalités, métropoles, départements et régions sont particulièrement exposés aux risques de cybersécurité. Ce livre blanc Stormshield présente les défis cyber que rencontrent les collectivités, les solutions et perspectives pour qu’elles puissent assurer leur mission d’utilité publique, en toute sécurité.

Tech - Par Renaud ROSSET - Publié le 24 juin 2010