Big Data : migration des clusters Hadoop, Spark et lakehouse

Le big data désigne des ensembles de données dont le volume, la vitesse de production et la variété dépassent les capacités des bases relationnelles classiques, ce qui impose des architectures distribuées. En entreprise, la trajectoire est connue : les clusters Hadoop sur site ont cédé la place aux lacs de données dans le cloud, puis au lakehouse, où Apache Spark reste un moteur de traitement central. Spark 4.1 est sorti le 11 décembre 2025, Hadoop 3.5.0 le 2 avril 2026. Cette page réunit le suivi ITPro de ce socle, avec les anciens tags Hadoop, Datamining et Spark.

Le guide Big Data

Résumé de l’article

SPARK 4.0 SORT DE SUPPORT LE 23 NOVEMBRE 2026

Selon le calendrier publié par endoflife.date, la branche 4.0 d'Apache Spark, sortie le 19 mai 2025, arrive en fin de support le 23 novembre 2026. La 4.1, publiée le 11 décembre 2025, est couverte jusqu'au 11 juin 2027, et la 3.5 jusqu'au 30 novembre 2027.

Le big data désigne des ensembles de données dont le volume, la vitesse de production et la variété dépassent les capacités des bases relationnelles classiques, ce qui impose des architectures distribuées. En entreprise, la trajectoire est connue : les clusters Hadoop sur site ont cédé la place aux lacs de données dans le cloud, puis au lakehouse, où Apache Spark reste un moteur de traitement central. Spark 4.1 est sorti le 11 décembre 2025, Hadoop 3.5.0 le 2 avril 2026. Cette page réunit le suivi ITPro de ce socle, avec les anciens tags Hadoop, Datamining et Spark.

Hadoop : un parc qui se dépréciera selon le calendrier de l'éditeur

Les distributions historiques sont sorties de support depuis longtemps : HDP 3.1 en décembre 2021, CDH 6.2 et 6.3 en mars 2022. Les clusters encore en production reposent sur CDP Private Cloud Base, désormais nommé Cloudera on premises : la version 7.1.7 est sortie de support en août 2025, la 7.1.9 l'est prévue en octobre 2028 selon la politique de cycle de vie de l'éditeur. Cette dernière date fixe l'échéance réelle d'un parc Hadoop sur site. Notre position : le choix n'est pas entre garder et jeter, il consiste à isoler les charges qui justifient encore un cluster et à déplacer le reste vers des infrastructures de stockage objet.

Spark a survécu à Hadoop, et son calendrier de support se resserre

Spark a traversé la fin des clusters Hadoop parce qu'il s'exécute sur n'importe quel stockage. La branche 4.0, sortie le 19 mai 2025, arrive en fin de support le 23 novembre 2026 selon endoflife.date. Spark 4.1 apporte Spark Declarative Pipelines, un mode temps réel de Structured Streaming à latence sous la seconde, et le type VARIANT pour les données semi-structurées. Notre lecture : un parc encore en 3.5 dispose d'un sursis, avec des correctifs de sécurité annoncés jusqu'en novembre 2027, mais la montée vers la 4.1 ou une version plus récente se planifie dès maintenant, car les bibliothèques et les API demandent des tests.

Du lac de données au lakehouse : Iceberg comme format pivot

Le lakehouse remplace l'entrepôt et le lac cloisonnés par des tables ouvertes posées sur du stockage objet. Apache Iceberg s'installe comme format d'échange : la version 3 de sa spécification, ratifiée en 2025 avec des contributions de Snowflake, Databricks, Microsoft et Dremio, ajoute les vecteurs de suppression, la traçabilité des lignes et le type Variant. Pour un DSI, l'intérêt est contractuel avant d'être technique : des données stockées dans un format ouvert passent d'un moteur de requête à l'autre sans réécriture, ce qui réduit la dépendance à un seul éditeur. Cette logique rejoint nos analyses de la business intelligence.

Coûts et sortie de plateforme : ce que change le Data Act

Le coût d'une plateforme de données ne tient plus au stockage, devenu secondaire, mais au calcul consommé et aux transferts. Le règlement européen sur les données (Data Act) interdit les frais de changement de fournisseur de services de traitement de données à compter du 12 janvier 2027, ce qui modifie la négociation d'une sortie de plateforme. Notre conseil : budgéter la migration IT d'un cluster Hadoop avec une phase de double exploitation et un plan de restitution des données, avant de signer la cible. Les usages de fouille de données sur données personnelles restent soumis au RGPD. Retrouvez ce contexte dans notre couverture IA et data.

Questions fréquentes sur Big Data

Qu'est-ce que le big data ?

Le big data désigne des ensembles de données dont le volume, la vitesse de production et la variété dépassent les capacités des outils de gestion classiques. Il suppose des architectures distribuées, historiquement Hadoop, aujourd'hui surtout des lacs de données et des lakehouses sur stockage objet, traités avec des moteurs comme Apache Spark. On y ajoute souvent la véracité et la valeur, pour cinq V.

Quels sont les 5 V du big data ?

Les cinq V sont le volume, la vélocité, la variété, la véracité et la valeur. Les trois premiers décrivent la nature technique des données, les deux derniers leur qualité et leur utilité pour l'entreprise. Le modèle à trois V reste cité, mais la véracité et la valeur pèsent dès qu'on alimente des analyses ou des modèles d'IA.

Hadoop est-il encore utilisé ?

Oui, mais surtout en maintenance. Le projet Apache continue de publier des versions, Hadoop 3.5.0 est sortie le 2 avril 2026, et Cloudera prévoit la fin de support de sa version sur site 7.1.9 en octobre 2028. Les nouveaux projets partent en revanche sur du stockage objet et des tables ouvertes, avec Spark ou un moteur SQL.

Quelle différence entre data lake, data warehouse et lakehouse ?

Un data warehouse stocke des données structurées et modélisées pour l'analyse. Un data lake conserve à bas coût des données brutes de tout format. Un lakehouse combine les deux : des tables transactionnelles ouvertes, comme Apache Iceberg, posées sur un stockage objet et interrogées par plusieurs moteurs, pour éviter de copier les données dans deux systèmes.

Faut-il migrer de Spark 3.5 vers Spark 4 ?

À terme, oui. Spark 4.0 est sorti le 19 mai 2025 et la 4.1 le 11 décembre 2025, avec un mode temps réel et un mode déclaratif. La branche 3.5 reste couverte en correctifs de sécurité jusqu'en novembre 2027 selon endoflife.date. Il faut donc planifier la migration et tester la compatibilité des bibliothèques et des API, sans précipitation.

Explorer par Thématiques

Cloud & Infrastructure