Aller au contenu principal
Notification
ITPro
  • Ressources IT
  • Newsletter
Se connecter
S’inscrire
  • Cloud & Infrastructure
  • Cybersécurité
  • Data & IA
  • Workplace et Endpoints
Se connecter
S’inscrire
  • Facebook
  • X
  • Linkedin
  • Instagram

Inscrivez-vous

Newsletter iTPro

  • Cloud & Infrastructure
  • Cybersécurité
  • Data & IA
  • Workplace et Endpoints
  • Cloud & Infrastructure
  • Cybersécurité
  • Data & IA
  • Workplace et Endpoints
  1. Accueil
  2. Data & IA
  3. Hadoop (MapReduce) sur Microsoft Azure et On Premises

Sommaire

Tech stories

  • Tech Stories

    Open Source Experience 2026 : Quelles solutions open source pour répondre aux grands défis des systèmes d’information ?

  • Tech Stories

    Sous-titres vidéo : formats SRT, VTT et bonnes pratiques

Big Data et analytics

Hadoop (MapReduce) sur Microsoft Azure et On Premises

Par

Laurent Marzouk
20 novembre 2012
4 minutes

Le projet Hadoop est une plate-forme logicielle en Java, développée par la fondation Apache, permettant de développer des applications capables de manipuler de grandes quantités de données.

Sommaire

Hadoop (MapReduce) sur Microsoft Azure et On Premises

Il est constitué des principaux éléments suivants :

•    HDFS (Hadoop Distributed File System), un système de fichier distribué qui gère le stockage, la répartition et l’accès aux données au sein d’un cluster de serveurs Hadoop ;
•    MapReduce, un algorithme chargé de traiter de grandes quantités de données stockées de manière distribuée ;
•    Hive, un système de Data Warehouse permettant de mapper une structure sur les données hébergées sur Hadoop afin de faciliter leur manipulation (calculs d’agrégations, analyse et requêtes ad-hoc…)
•    Diverses applications, développées par la fondation Apache afin de gérées les données stockées HDFS. On peut notamment citer Pig, Sqoop, HBase…

Son principe est de répartir les données à analyser sur une grande quantité de nœuds (serveurs) formant un cluster afin de tirer parti de la puissance de traitement cumulée de ces serveurs et ainsi pouvoir traiter les données aussi rapidement que possible.

Le principe corollaire est de rapprocher les données à analyser de la puissance CPU disponible sur chaque serveur (en d’autres termes, chaque serveur traite uniquement les données qui sont stockées sur son sous-système disque), afin d’éviter la latence induite par des accès à distance aux données (via le réseau) depuis les serveurs.

La mise en place de ce type de solution permet de traiter un grand volume de données (structurées mais aussi et surtout semi-structurées et non structurées) en s’appuyant sur un algorithme assez simple (MapReduce) constitué de deux phases : dans la première phase (Map), des tuples (clefs/valeurs) sont créés, dans la seconde phase (Reduce), les valeurs d’une même clef sont cumulées, Hadoop s’occupant de faire arriver les mêmes tuples pour une même clef sur le même nœud pour la phase Reduce.

Microsoft a embrassé le mouvement Hadoop il y a plus d’un an, en annonçant lors de la conférence SQL PASS d’octobre 2011, la mise à disposition d’une distribution Hadoop optimisée pour Windows Azure et Windows Server en partenariat avec la société HortonWorks, une filiale de Yahoo spécialisée dans l’utilisation et le développement de Hadoop.

La distribution Hadoop pour Azure de Microsoft est disponible en préversion (CTP) depuis quelques mois déjà, la version définitive de cette distribution ainsi qu’une distribution pour les plates-formes Windows Server étant prévue pour 2012, ce qui permettra aux entreprises qui le souhaitent de déployer leurs clusters Hadoop sur environnement Windows en interne.

Les avantages de la distribution Hadoop Microsoft

Déployer Hadoop sur Windows Azure permet de profiter de l’élasticité, la puissance de traitements distribués et des coûts bas du Cloud public de Microsoft, et de bénéficier de nombreux autres avantages liés aux optimisations apportées à ces distributions, notamment des performances optimisées pour les environnements Windows, une sécurité améliorée du système de fichier HDFS, une compatibilité native avec Active Directory et la suite System Center qui permet d’appliquer les règles de gouvernance en matière de sécurité (authentification, durcissement via GPO) aux serveurs des clusters Hadoop et de les superviser au même titre que des serveurs classiques. L’interopérabilité de ces distributions avec les solutions décisionnelles de Microsoft est également de la partie, grâce à la disponibilité de connecteurs Hadoop pour les plates-formes SMP (SQL Server et SQL Server Fast Track, Analysis Services Multidim et Tabulaires) et MPP (SQL Server PDW), qui permettent aux développeurs de déplacer aisément des données entre ces deux types de plates-formes.

Ces distributions Hadoop pour Azure et Windows Server sont compatibles avec les principaux outils BI de Microsoft dont PowerPivot, PowerView, Reporting Services ou Excel via un connecteur ODBC Hive également disponible.

Enfin, un avantage complémentaire (en non des moindres) tient à la flexibilité et au choix des architectures qu’il est possible de mettre en œuvre. La distribution Hadoop de Microsoft est compatible Windows Azure et Windows Server (disponible d’ici quelques mois), ce qui offre le choix d’héberger ses données en interne ou sur le Cloud (en fonction de la criticité des données), et d’envisager la mise en œuvre de clusters Hadoop hybrides (i.e. dont les nœuds sont répartis en interne et sur le Cloud afin d’absorber les pics de charge occasionnels).

Enfin, ces distributions sont parfaitement compatibles avec les outils Hadoop existants tels que Pig, Hive et Java, ce qui permet d’envisager la migration des applications développées sur Apache Hadoop vers la distribution Hadoop de Microsoft, sur Windows Azure ou Windows Server afin de bénéficier des avantages évoqués ci-dessus.

Tech Stories

Sous-titres vidéo : formats SRT, VTT et bonnes pratiques

Le sous-titrage n'est plus une option mais un levier de croissance : 80 % des vidéos sur les réseaux sociaux sont consommées sans le son. Pourtant, choisir entre le format…

Lire l'article : Sous-titres vidéo : formats SRT, VTT et bonnes pratiques

Ressource IT

SIEM & PME : Comment construire la boîte noire de votre SI ?

Passez à la cybersécurité proactive, transformez la collecte et l’analyse des logs en un bouclier dynamique contre les cybermenaces. Découvrez comment mettre en place une approche SIEM modulaire, évolutive et…

Découvrir la ressource : SIEM & PME : Comment construire la boîte noire de votre SI ?

Inscrivez-vous

Newsletter iTPro

Laurent Marzouk

Rédigé par Laurent Marzouk

Laurent Marzouk est un professionnel IT et rédacteur sur iTPro.fr : Architecte Solutions plates-formes applicatives

Tous ses articles →

Big Data et analytics

À lire également...

  • Analytique prédictive au service de la décarbonation en France sur iTPro.fr
    Big Data et analytics Enjeux IT

    L’analytique prédictive au service de la décarbonation en France

    Par

    La rédaction iTPro.fr
    26 mai 2026
    5 minutes
  • Performance IA et Analytique et Fondations de données solides
    Big Data et analytics

    La performance de l’IA et l’analytique reposent sur des fondations de données solides

    Par

    IT Pro Magazine
    17 juillet 2025
    5 minutes
  • l'IA dans l’analytique et la BI les défis et les bénéfices - iTPro - 2025
    Big Data et analytics

    Défis et bénéfices d’infuser l’IA dans l’analytique et la BI

    Par

    IT Pro Magazine
    27 janvier 2025
    5 minutes
  • CLOUD INNOVATION PARTNERS VIA @ITPROFR
    Big Data et analytics Cloud & Infrastructure

    Cloud Innovation Partners décrypte les fuites de données

    Par

    Sabine Terrey
    27 octobre 2023
    8 minutes
ITPro
  • X
  • Linkedin
  • Facebook
  • Instagram
Se connecter
S’inscrire
  • Cloud & Infrastructure
  • Cybersécurité
  • Data & IA
  • Workplace et Endpoints
  • Ressources IT
  • Espace responsable sécurité
  • Espace DSI
  • Espace Architecte IT
  • Espace IT Manager
  • Espace Responsable Data / IA

Inscrivez-vous

Newsletter iTPro

© iTPro.fr

  • Qui sommes-nous
  • Contact
  • Comité éditorial
  • Régie médias
  • Mentions-légales
  • Gestion et protection des données personnelles
  • Gestion des cookies
Gérer le consentement aux cookies
Pour offrir les meilleures expériences, nous utilisons des technologies telles que les cookies pour stocker et/ou accéder aux informations des appareils. Le fait de consentir à ces technologies nous permettra de traiter des données telles que le comportement de navigation ou les ID uniques sur ce site. Le fait de ne pas consentir ou de retirer son consentement peut avoir un effet négatif sur certaines caractéristiques et fonctions.
Fonctionnel Toujours activé
Le stockage ou l’accès technique est strictement nécessaire dans la finalité d’intérêt légitime de permettre l’utilisation d’un service spécifique explicitement demandé par l’abonné ou l’internaute, ou dans le seul but d’effectuer la transmission d’une communication sur un réseau de communications électroniques.
Préférences
Le stockage ou l’accès technique est nécessaire dans la finalité d’intérêt légitime de stocker des préférences qui ne sont pas demandées par l’abonné ou la personne utilisant le service.
Statistiques
Le stockage ou l’accès technique qui est utilisé exclusivement à des fins statistiques. Le stockage ou l’accès technique qui est utilisé exclusivement dans des finalités statistiques anonymes. En l’absence d’une assignation à comparaître, d’une conformité volontaire de la part de votre fournisseur d’accès à internet ou d’enregistrements supplémentaires provenant d’une tierce partie, les informations stockées ou extraites à cette seule fin ne peuvent généralement pas être utilisées pour vous identifier.
Marketing
Le stockage ou l’accès technique est nécessaire pour créer des profils d’internautes afin d’envoyer des publicités, ou pour suivre l’internaute sur un site web ou sur plusieurs sites web ayant des finalités marketing similaires.
  • Gérer les options
  • Gérer les services
  • Gérer {vendor_count} fournisseurs
  • En savoir plus sur ces finalités
Voir les préférences
  • {title}
  • {title}
  • {title}