Pourquoi les projets Big Data ont besoin des moteurs de recherche ?

Rapidité, simplicité, facilité, distribution …

Pourquoi a-t-on besoin de moteurs de recherche dans le milieu Big Data ?

Revenons sur un point, «  les moteurs de recherche sont distribués, fragmentés et devenus scalables avant même l’ère Big Data ». De plus, les moteurs de recherche peuvent gérer des milliards d’enregistrements, on parle dorénavant en millisecondes. Et « ce même concept est exploité dans Hadoop ».

Mais, pourquoi a-t-on besoin des moteurs de recherche dans ce contexte ?

Aujourd’hui « certes, nous commençons à mettre en production les datalakes, mais pour aller rechercher et puiser les informations plus tard, il sera nécessaire de taper une requête afin de récupérer les informations stockées. A ce moment-là, disposerez-vous de toutes les informations pour savoir ce qu’on a mis dans le datalake ?». Or, comment taper ces requêtes, car n’importe quel datalake c’est plus 95 % de tables structurées. « Quand on fait des requêtes SQL, on fait des ‘like’, alors que quand on utilise les moteurs de recherche c’est un million de fois plus rapide que les ‘like’, les temps de réponse sont courts ». Faire des recherches avec des mots clés permet de trouver les informations utiles !

Les mécanismes de recherche sont facilement distribuables sur de larges clusters, d’autant que les données sont devenues hautement volumétriques.