> Tech > Collecte et intégration des données avec SSIS et StreamInsight

Collecte et intégration des données avec SSIS et StreamInsight

Tech - Par iTPro - Publié le 20 novembre 2012
email

On ne présente plus l’ETL de Microsoft, Integration Services (SSIS).

Collecte et intégration des données avec SSIS et StreamInsight

Inclus dans la suite logicielle SQL Server 2012, il est utilisé depuis bien longtemps par les développeurs pour créer des solutions d’intégration de données très performantes entre des systèmes potentiellement hétérogènes.

Integration Services

SSIS dispose de nombreux connecteurs natifs permettant d’accéder à la majorité des sources de données du marché, et peut à présent s’appuyer sur le connecteur ODBC Hive fourni par Microsoft pour accéder directement à des structures Hive et les alimenter à partir de fichiers de données, ou s’en servir de source pour alimenter une base de données SQL Server ou PDW par exemple.

StreamInsight

Microsoft StreamInsight est l’un des composants logiciels de la suite SQL Server 2012, et constitue une plate-forme puissante permettant de développer et déployer des applications de traitement d’événements complexes (CEP). Son architecture de traitement de flux à haut débit et la plate-forme de développement basée sur Microsoft .NET Framework permettent d’implémenter rapidement des applications de traitement temps-réel d’événements robustes et performantes. L’utilisation du langage LINQ (Language Integrated Query) simplifie les développements, et permettant d’intégrer directement une requête d’accès aux données dans un code .Net en respectant le formalisme du langage SQL.

Les données des sources de flux d’événements peuvent provenir de programmes de fabrication, d’applications financières ou de services d’analyse Web et d’analyse opérationnelle, de services de localisation GPS/GPRS, de senseurs matériels, et plus généralement de tout système générateur de flux de données.

Grâce à StreamInsight, il est possible de développer des applications CEP qui permettent de tirer un bénéfice immédiat de ces données brutes non seulement en réduisant les coûts d’extraction, d’analyse et de corrélation des données, mais aussi en gérant et exploitant ces données de façon à identifier en un temps record les conditions, opportunités et erreurs qui s’y rapportent.

La figure ci-dessous illustre un déploiement multi niveaux du moteur StreamInsight permettant d’effectuer des traitements complexes sur de grands volumes de données :
 

(((IMG5803)))
Architecture StreamInsight multi-niveaux

Une version CTP privée de StreamInsight pour Azure est d’ores et déjà disponible (nom de code Austin), mais reste actuellement réservée à un petit groupe de clients en phase d’expérimentation. La version RTM devrait être disponible courant 2012,

StreamInsight peut par ailleurs être utilisé en conjonction de Hadoop pour implémenter des jobs Reducers, et ainsi combiner les points forts de ces deux solutions sur deux dimensions du Big Data : Hadoop pour la volumétrie des données et StreamInsight pour leur Vélocité.

Téléchargez gratuitement cette ressource

Endpoint Security : Guide de Mise en œuvre

Endpoint Security : Guide de Mise en œuvre

Détournement d’applications légitimes, élévation de privilèges, logiciels malveillants furtifs : comment les solutions de Endpoint Security permettent elles de faire face aux nouvelles techniques d'attaques complexes ? Découvrez, dans ce Guide Endpoint Security, les perspectives associées à leur mise en œuvre.

Tech - Par iTPro - Publié le 20 novembre 2012