Umanis est une société française créée autour de la data, il y a plus de 20 ans, par des statisticiens. Rencontre avec Ronald Chrisostom, IT Manager Big Data & Search Engines, Architecte Big Data & Analytics, du pôle Consulting qui nous livre son expertise sur le sujet.
Pourquoi les projets Big Data ont besoin des moteurs de recherche ?
Rapidité, simplicité, facilité, distribution …
Pourquoi a-t-on besoin de moteurs de recherche dans le milieu Big Data ?
Revenons sur un point, « les moteurs de recherche sont distribués, fragmentés et devenus scalables avant même l’ère Big Data ». De plus, les moteurs de recherche peuvent gérer des milliards d’enregistrements, on parle dorénavant en millisecondes. Et « ce même concept est exploité dans Hadoop ».
Mais, pourquoi a-t-on besoin des moteurs de recherche dans ce contexte ?
Aujourd’hui « certes, nous commençons à mettre en production les datalakes, mais pour aller rechercher et puiser les informations plus tard, il sera nécessaire de taper une requête afin de récupérer les informations stockées. A ce moment-là, disposerez-vous de toutes les informations pour savoir ce qu’on a mis dans le datalake ?». Or, comment taper ces requêtes, car n’importe quel datalake c’est plus 95 % de tables structurées. « Quand on fait des requêtes SQL, on fait des ‘like’, alors que quand on utilise les moteurs de recherche c’est un million de fois plus rapide que les ‘like’, les temps de réponse sont courts ». Faire des recherches avec des mots clés permet de trouver les informations utiles !
Le moteur de recherche ne se soucie pas de la structure, les documents sont pris sous n’importe quelle forme et sont stockés, on réindexe les termes pour faire des recherches par terme Cliquez pour tweeterLes mécanismes de recherche sont facilement distribuables sur de larges clusters, d’autant que les données sont devenues hautement volumétriques.
Téléchargez cette ressource
Comment sécuriser une PME avec l’approche par les risques ?
Disposant de moyens financiers et humains contraints, les PME éprouvent des difficultés à mettre en place une véritable stratégie de cybersécurité. Opérateur de services et d’infrastructures, Naitways leur propose une approche pragmatique de sécurité « by design » en priorisant les risques auxquelles elles sont confrontées.
Et la variété des données ?
Actuellement, on n’analyse que des données structurées, mais quid de la variété des données ? « Cette variété est oubliée dans la mise en place des datalakes, l’analyse des full text n’est pas prise en compte, tout comme les champs multi valeurs ». Il semble que les tables soient mieux gérées par les moteurs de recherche que les bases de données. Face aux données non structurées, on note un manque évident de maturité des traitements.
De plus, derrière les moteurs de recherche, on trouve « des histogrammes, comptage, additions, multiplications et moyennes … c’est mille fois plus rapide que les autres alternatives » et il est possible de réaliser des tableaux de bord, des rapports et analyses.
« On a vraiment besoin de travailler avec les moteurs de recherche dès maintenant et, en amont des projets. En effet, ne pas ignorer les moteurs de recherche est primordial » conclut l’expert du Pôle Consulting.
Les articles les plus consultés
Les plus consultés sur iTPro.fr
- Les 6 bonnes pratiques pour une meilleure inclusion, enjeu et impératif économique
- Les conseils d’administration peinent à exploiter la valeur des données
- Systnaps « Faire entrer la data dans l’économie circulaire »
- Observatoire IT & OT pour 2024
- La relation entre DSI et DAF : difficultés et opportunités