Inclus dans la suite logicielle SQL Server 2012, il est utilisé depuis bien longtemps par les développeurs pour créer des solutions d’intégration de données très performantes entre des systèmes potentiellement hétérogènes.
Integration Services
SSIS dispose de nombreux connecteurs natifs permettant d’accéder à la majorité des sources de données du marché, et peut à présent s’appuyer sur le connecteur ODBC Hive fourni par Microsoft pour accéder directement à des structures Hive et les alimenter à partir de fichiers de données, ou s’en servir de source pour alimenter une base de données SQL Server ou PDW par exemple.
StreamInsight
Microsoft StreamInsight est l’un des composants logiciels de la suite SQL Server 2012, et constitue une plate-forme puissante permettant de développer et déployer des applications de traitement d’événements complexes (CEP). Son architecture de traitement de flux à haut débit et la plate-forme de développement basée sur Microsoft .NET Framework permettent d’implémenter rapidement des applications de traitement temps-réel d’événements robustes et performantes. L’utilisation du langage LINQ (Language Integrated Query) simplifie les développements, et permettant d’intégrer directement une requête d’accès aux données dans un code .Net en respectant le formalisme du langage SQL.
Les données des sources de flux d’événements peuvent provenir de programmes de fabrication, d’applications financières ou de services d’analyse Web et d’analyse opérationnelle, de services de localisation GPS/GPRS, de senseurs matériels, et plus généralement de tout système générateur de flux de données.
Grâce à StreamInsight, il est possible de développer des applications CEP qui permettent de tirer un bénéfice immédiat de ces données brutes non seulement en réduisant les coûts d’extraction, d’analyse et de corrélation des données, mais aussi en gérant et exploitant ces données de façon à identifier en un temps record les conditions, opportunités et erreurs qui s’y rapportent.
La figure ci-dessous illustre un déploiement multi niveaux du moteur StreamInsight permettant d’effectuer des traitements complexes sur de grands volumes de données :
Architecture StreamInsight multi-niveaux
Une version CTP privée de StreamInsight pour Azure est d’ores et déjà disponible (nom de code Austin), mais reste actuellement réservée à un petit groupe de clients en phase d’expérimentation. La version RTM devrait être disponible courant 2012,
StreamInsight peut par ailleurs être utilisé en conjonction de Hadoop pour implémenter des jobs Reducers, et ainsi combiner les points forts de ces deux solutions sur deux dimensions du Big Data : Hadoop pour la volumétrie des données et StreamInsight pour leur Vélocité.
Pour beaucoup de DSI, le cloud a longtemps été réduit à un projet de migration : déplacer des serveurs on-premise vers un fournisseur externe. Une fois cette étape franchie, la…
Passez à la cybersécurité proactive, transformez la collecte et l’analyse des logs en un bouclier dynamique contre les cybermenaces. Découvrez comment mettre en place une approche SIEM modulaire, évolutive et…
