Architecture distribuée de collecte et de gestion des journaux

Dans la figure ci-dessous, plusieurs changements ont été apportés.

Le premier consiste à utiliser un service de gestion de queue pour les messages et d’éviter les appels directs entre les serveurs. Bien connue des développeurs, cette technologie permet à des applications exécutées à des moments différents de communiquer à travers des réseaux et des systèmes hétérogènes, même s’ils sont temporairement déconnectés.

Elle fournit une livraison des messages garantie, un routage efficace, une sécurité et une messagerie basée sur la priorité. Ainsi, elle garantit que les transactions seront correctement expédiées dans la queue pour traitement, même si l’instance n’est plus en ligne.

Le second consiste à séparer les services pour que les instances soient toujours dédiées à une tâche simple et unique. Ainsi, la collecte des journaux ne demande pas de faire un recours à des unités de calcul. Les collecteurs sont donc très simples, redondants et peuvent être exécutés sur des machines à faible consommation. Le collecteur se charge de récolter l’ensemble des journaux émis par les instances, puis de les transférer pour consolidation dans une autre queue prévue à cet effet.

Enfin, les instances de calcul pour consolider les journaux peuvent faire l’usage de leur puissance pour agglomérer et indexer les événements récoltés par les collecteurs avant de les enregistrer sur un espace de stockage consolidé. Notez que les instances de calcul sont elles-mêmes dans un groupe de montée en charge dynamique afin que leur nombre soit adapté automatiquement en fonction du nombre de transactions à traiter.