Introduction
Il est primordial pour une entreprise de bien gérer, exploiter et simplifier la gestion de ses logs applicatifs. Une application peut générer plusieurs type de log, fichier plat, événement Windows ou dans une table d'une base de données. Il existe des outils pour gérer ses logs, Splunk, ELK Elastics Search, .... Nous allons dans ce blog , mettre en place une infrastructure ELK pour gérer les logs provenant de plusieurs source de fichiers plats. Les outils mis en place sont représentés par le schéma suivant:
Présentation des composants
ELK - Elastic Search vient avec 4 composant principaux :
- KIBANA - Le frontal web d'administration, consultation de log en sélectionnant un index, création/visualisation des indicateurs
- Elastic search - base de données NOSQL pour le stockage des données de log dans des indexes
- Logstash - collecter, transformer et parse les logs à Elastic search
- Beats - voir ci-dessous
Il existe plusieurs modules dans la famille BEATS à mettre en place et qui dépend de la source et type de log, les 3 principaux sont :
- filebeat - pour des logs dans des fichiers plat
- winlogbeat - logs provenant des événement Windows
- packetbeat - protocols réseau, quantité des données transférées sur un serveurs ou sur le réseau
Installation des composants
NB: JAVA JRE est nécessaire pour faire fonctionner la suite ELK, assurer que JAVA a été installé.Vous obtiendrez les dernières versions des binaires directement du site elastic search: https://www.elastic.co/fr/products
1) Elastic Search - base de données NoSQL
L’installation des binaires se fait en dézippant le fichier elasticsearch-5.6.3.zip dans le répertoire d’installation souhaitée. Utiliser l'utilitaire NSSM pour installer Elastics Search comme un service windows.
Sélectionner "Installer le service" pour installer le service Elastic Search.
2) Logstash
L’installation des binaires se fait en dézippant le fichier logstash-5.6.3.zip dans le répertoire d’installation souhaitée.
Installer le service logstash comme un service windows:
Sélectionner "Installer le service" pour installer le service Logstash.
3) Filebeat
L’installation des binaires se fait en dézippant le fichier filebeat-5.6.3.zip dans le répertoire d’installation souhaitée.
Installer le service filebeat comme un service windows en utilisant l'utilitaire NSSM.
4) Kibana
L’installation des binaires se fait en dézippant le fichier kibana-5.6.3.zip dans le répertoire d’installation souhaitée.
Installer le service Kibana comme un service windows en utilisant l'utilisateur NSSM.
Modifier le fichier kibana.yaml comme indiqué ci-dessous:
server.port: 80
server.host: "SERVER IP"
server.name: "SERVER_NAME"
elasticsearch.url: "http://SERVER_NAME:9200"
NB: Logstash, Elastic Search et Filebeats possèdent chacun des fichiers de configuration, dans cette installation nous allons tout laisser par défaut.
Tests:
Redémarrer tous les services et lancer l’url du site dans l’ordre ci-dessous:
- ELK – Elastic Search
- ELK – Filebeat
- ELK – Logstash
- ELK – Kibana
Accéder au portail via localhost http://localhost:port comme indiqué ci-dessous:
