Collecte et intégration des données avec SSIS et StreamInsight

Inclus dans la suite logicielle SQL Server 2012, il est utilisé depuis bien longtemps par les développeurs pour créer des solutions d’intégration de données très performantes entre des systèmes potentiellement hétérogènes.

Integration Services

SSIS dispose de nombreux connecteurs natifs permettant d’accéder à la majorité des sources de données du marché, et peut à présent s’appuyer sur le connecteur ODBC Hive fourni par Microsoft pour accéder directement à des structures Hive et les alimenter à partir de fichiers de données, ou s’en servir de source pour alimenter une base de données SQL Server ou PDW par exemple.

StreamInsight

Microsoft StreamInsight est l’un des composants logiciels de la suite SQL Server 2012, et constitue une plate-forme puissante permettant de développer et déployer des applications de traitement d’événements complexes (CEP). Son architecture de traitement de flux à haut débit et la plate-forme de développement basée sur Microsoft .NET Framework permettent d’implémenter rapidement des applications de traitement temps-réel d’événements robustes et performantes. L’utilisation du langage LINQ (Language Integrated Query) simplifie les développements, et permettant d’intégrer directement une requête d’accès aux données dans un code .Net en respectant le formalisme du langage SQL.

Les données des sources de flux d’événements peuvent provenir de programmes de fabrication, d’applications financières ou de services d’analyse Web et d’analyse opérationnelle, de services de localisation GPS/GPRS, de senseurs matériels, et plus généralement de tout système générateur de flux de données.

Grâce à StreamInsight, il est possible de développer des applications CEP qui permettent de tirer un bénéfice immédiat de ces données brutes non seulement en réduisant les coûts d’extraction, d’analyse et de corrélation des données, mais aussi en gérant et exploitant ces données de façon à identifier en un temps record les conditions, opportunités et erreurs qui s’y rapportent.

La figure ci-dessous illustre un déploiement multi niveaux du moteur StreamInsight permettant d’effectuer des traitements complexes sur de grands volumes de données : 

Une version CTP privée de StreamInsight pour Azure est d’ores et déjà disponible (nom de code Austin), mais reste actuellement réservée à un petit groupe de clients en phase d’expérimentation. La version RTM devrait être disponible courant 2012,

StreamInsight peut par ailleurs être utilisé en conjonction de Hadoop pour implémenter des jobs Reducers, et ainsi combiner les points forts de ces deux solutions sur deux dimensions du Big Data : Hadoop pour la volumétrie des données et StreamInsight pour leur Vélocité.