Deux ingrédients essentiels à une bonne stratégie IA 

Dès lors qu’elles tentent de dépasser le stade de l’expérimentation sur des données restreintes, elles se heurtent à deux défis majeurs en abordant la phase d’industrialisation de leur stratégie IA. Nicolas Maillard, Sr Director field Engineering Central & SEMEA – Databricks nous livre son expertise.

Tout d’abord, elles ne disposent pas de l’architecture adéquate pour simplifier et automatiser le traitement des données, qui se complexifie inévitablement au fur et à mesure que leur quantité augmente. Pourtant, pas de bonne stratégie IA sans données massives facilement accessibles et exploitables simultanément à tous les niveaux de l’entreprise, des équipes data jusqu’aux métiers. L’autre source principale d’échec des projets d’IA est le manque de maturité des entreprises face à la data et à l’IA pour générer de la valeur. Il s’agit alors d’instaurer une culture data solide et efficace qui vise à démocratiser les données pour permettre à chacun dans l’entreprise d’extraire les informations dont il a besoin pour décider, innover et performer.

Une architecture de données plus simple, plus rentable et plus apte à servir l’IA  

Alors que les data warehouses étaient parfaits pour analyser des données structurées, ils sont désormais coûteux et inadaptés aux cas d’usage basés sur l’IA nécessitant le traitement de données non structurées, semi-structurées, très hétérogènes et volumineuses. Quant aux data lakes, ils peinent dans quelques domaines. Tout d’abord, ils manquent de fiabilité et de gouvernance. Ils rendent difficile la modification de données, les tâches échouant souvent sans notification et la conservation des historiques de versions peut être coûteuse. Ils complexifient également la gestion de vastes catalogues de métadonnées.

L’architecture que nous voyons prendre forme actuellement s’appelle le lakehouse. Elle fournit au data lake une couche transactionnelle structurée qui ajoute une performance, une fiabilité, une qualité et une scalabilité semblables à celles d’un data warehouse. Elle permet à un grand nombre de cas d’usage qui auraient habituellement nécessité plusieurs data warehouses traditionnels d’être réalisés avec un seul et unique data lake.

Un lakehouse prend en charge des données non structurées, telles que la vidéo, l’audio, le texte, ainsi que des données structurées qui restaient habituellement le domaine des systèmes hérités. Mieux encore, basé sur un format ouvert standard, il évite aux entreprises d’enfermer leurs données dans un système ou un format spécifique. En simplifiant radicalement l’infrastructure de données, le lakehouse accélère l’innovation à une époque où le ML et l’IA révolutionnent tous les secteurs.

Le groupe français TotalEnergies a notamment opté pour cette architecture lakehouse, afin d’automatiser son travail sur des modèles de prédiction et d’optimisation de la production de puits d’hydrocarbure à partir des données de capteurs. Ce dispositif lui permet de passer à un management prédictif temps réel, qui couvrira à terme de nombreux champs d’extraction. Sachant qu’un champ peut compter des centaines de puits avec pour chacun trois modèles à déployer (prédiction de la production de pétrole, de gaz et d’eau), cela représente déjà des centaines de modèles déployés en production, monitorés et réentraînés !