> Enjeux IT > Pourquoi les projets Big Data ont besoin des moteurs de recherche ?

Pourquoi les projets Big Data ont besoin des moteurs de recherche ?

Enjeux IT - Par Sabine Terrey - Publié le 13 mai 2019
email

Umanis est une société française créée autour de la data, il y a plus de 20 ans, par des statisticiens. Rencontre avec Ronald Chrisostom, IT Manager Big Data & Search Engines, Architecte Big Data & Analytics, du pôle Consulting qui nous livre son expertise sur le sujet.

Pourquoi les projets Big Data ont besoin des moteurs de recherche ?

Rapidité, simplicité, facilité, distribution …

Pourquoi a-t-on besoin de moteurs de recherche dans le milieu Big Data ?

Revenons sur un point, «  les moteurs de recherche sont distribués, fragmentés et devenus scalables avant même l’ère Big Data ». De plus, les moteurs de recherche peuvent gérer des milliards d’enregistrements, on parle dorénavant en millisecondes. Et « ce même concept est exploité dans Hadoop ».

Mais, pourquoi a-t-on besoin des moteurs de recherche dans ce contexte ?

Aujourd’hui « certes, nous commençons à mettre en production les datalakes, mais pour aller rechercher et puiser les informations plus tard, il sera nécessaire de taper une requête afin de récupérer les informations stockées. A ce moment-là, disposerez-vous de toutes les informations pour savoir ce qu’on a mis dans le datalake ?». Or, comment taper ces requêtes, car n’importe quel datalake c’est plus 95 % de tables structurées. « Quand on fait des requêtes SQL, on fait des ‘like’, alors que quand on utilise les moteurs de recherche c’est un million de fois plus rapide que les ‘like’, les temps de réponse sont courts ». Faire des recherches avec des mots clés permet de trouver les informations utiles !

 

Le moteur de recherche ne se soucie pas de la structure, les documents sont pris sous n’importe quelle forme et sont stockés, on réindexe les termes pour faire des recherches par terme Click To Tweet

Les mécanismes de recherche sont facilement distribuables sur de larges clusters, d’autant que les données sont devenues hautement volumétriques.

Téléchargez gratuitement cette ressource

Accédez au Service Premium Ricoh

Accédez au Service Premium Ricoh

Des imprimantes de qualité professionnelle, des services exclusifs, quelle que soit la taille de votre entreprise, vous pouvez, dès à présent, bénéficier du service premium de Ricoh. Un ensemble de services et de solutions normalement dédiés aux grands comptes, découvrez dès maintenant les conditions exclusives qui vous sont réservées pour accéder au meilleur de la technologie Ricoh…

Et la variété des données ?

Actuellement, on n’analyse que des données structurées, mais quid de la variété des données ? « Cette variété est oubliée dans la mise en place des datalakes, l’analyse des full text n’est pas prise en compte, tout comme les champs multi valeurs ». Il semble que les tables soient mieux gérées par les moteurs de recherche que les bases de données. Face aux données non structurées, on note un manque évident de maturité des traitements.

De plus, derrière les moteurs de recherche, on trouve « des histogrammes, comptage, additions, multiplications et moyennes … c’est mille fois plus rapide que les autres alternatives » et il est possible de réaliser des tableaux de bord, des rapports et analyses.

« On a vraiment besoin de travailler avec les moteurs de recherche dès maintenant et, en amont des projets. En effet, ne pas ignorer les moteurs de recherche est primordial » conclut l’expert du Pôle Consulting.

Enjeux IT - Par Sabine Terrey - Publié le 13 mai 2019