La Suite Elastic, anciennement connue sous le nom de ELK Stack, est toujours mentionné en matière de gestion des journaux et de solutions de gestion des journaux. Mais qu'est-ce que la Suite Elastic, et pourquoi tant de personnes la préfèrent-elles à de nombreuses autres plateformes de gestion des logs ?

Qu’est ce qu' ELK Stack?

Outils logiciels Elasticsearch, Logstash et Kibana qui, lorsqu'ils sont combinés, forment une solution complète pour la collecte, l'organisation et l'analyse des données de journaux à partir de paramètres informatiques sur site ou basés sur le cloud.

ElasticSearch

Les WAPITI or ElasticSearch stack est construit sur Elasticsearch, un moteur de recherche en texte intégral de premier plan. C'est une recherche et analytics moteur lancé pour la première fois en 2010 et basé sur la bibliothèque Apache Lucene. Les équipes DevOps peuvent utiliser Elasticsearch pour indexer, interroger et analyser les données de journaux provenant de différentes sources au sein de systèmes informatiques complexes.

Logstash

Logstash est un agrégateur et un processeur de journaux qui fonctionne en lecture de données provenant de plusieurs sources et le transférant vers une ou plusieurs destinations de stockage ou de stockage. Logstash est un pipeline de traitement de données côté serveur qui peut ingérer des journaux à partir de diverses sources de données, analyser et convertir les données de journal, puis les transmettre à un ElasticSearch cluster pour l'indexation et l'analyse. Logstash est livré avec des entrées, des filtres, des codecs et des sorties prêts à l'emploi pour vous permettre d'extraire des informations utiles de vos journaux.

Kibana

Kibana est un, ElasticSearch et couche d'analyse et de visualisation Logstash. Les utilisateurs peuvent utiliser Kibana pour enquêter sur le journal agrégé données stocké dans ElasticSearch indices. Il permet également de rechercher, d'analyser et de visualiser d'énormes quantités de données et détecter les tendances et les modèles simples.

Pourquoi devriez-vous utiliser ELK Stack pour le journal Analytics et le management?

Les ELK Stack a gagné en popularité en tant qu'outil de gestion de journaux d'entreprise. Voici quelques-unes des raisons pour lesquelles tant d'équipes DevOps utilisent le ELK stack pour les journaux :

Les journaux sont essentiels -Pour les entreprises dépendantes des logiciels, analytics offre une visibilité cruciale sur les actifs et l'infrastructure informatiques, en abordant des cas d'utilisation tels que le cloud service monitoring, dépannage des applications DevOps et sécurité analytics. WAPITI donne à ces entreprises les outils pour surveiller des infrastructures informatiques de plus en plus complexes.

Opensearch, en revanche, est une alternative entièrement open source. Cela signifie qu'ils sont disponibles en téléchargement gratuit et que les utilisateurs peuvent créer des plug-ins et des extensions et modifier le code source. Il est simple pour les entreprises de commencer à utiliser le ELK stack pour le journal analytics car il n'y a pas de frais de licence de logiciel.

Cas d'utilisation qui ont fonctionné - Certaines des organisations informatiques les plus importantes et les plus connues au monde ont utilisé le ELK stack pour la gestion des journaux, tels que LinkedIn et Netflix

Comment installer Elasticsearch, Logstash et Kibana avec docker

Si vous avez décidé de travailler avec WAPITI et gérez-le vous-même ou jouez avec, il existe plusieurs façons de le déployer :

• La première option consiste à installer chacun des WAPITI composants individuellement sur votre hôte avec toutes leurs dépendances et exigences (nginx, jre, etc.), puis configurez tous les composants pour qu'ils communiquent entre eux, cette méthode offre plus de flexibilité lorsqu'il s'agit de configurer votre logiciel mais peut être très compliquée à mettre en place initialement et peut nécessiter l'intervention d'experts pour s'assurer que votre déploiement est fiable et sécurisé.
• La deuxième option est Installer chaque composant séparément mais en utilisant des images Docker : cette méthode est relativement plus facile que la première option mais nécessite encore beaucoup de configuration pour répondre aux besoins de votre entreprise et pour rendre votre déploiement fiable et sécurisé.
• La troisième option consiste à utiliser une image docker préconfigurée qui contient les trois composants (Elasticsearch, Logstach et Kibana), celle-ci est très facile à déployer et ne nécessite presque aucune configuration, nous vous recommandons d'utiliser cette méthode uniquement pour les laboratoires personnels et pour obtenir votre mains sales.

Dans un environnement professionnel/de production, le ELK stack sera déployé en utilisant l'une des deux premières options, si vous cherchez à configurer un ELK stack pour gérer vos logs et surveiller vos environnements ZEN NETWORKS des experts peuvent vous aider à configurer…

Afin de rendre ce didacticiel relativement court et de vous faire avancer aussi vite que possible
possible, nous examinerons la troisième option pour déployer le ELK stack.

Pré-requis

Assurez-vous que Docker et Docker-compose sont installés sur votre machine avant de
continuer. vérifier la documentation officielle  pour installer Docker sur votre système d'exploitation correspondant.
Elasticsearch utilise un mmapfs répertoire par défaut pour stocker ses index. Les limites par défaut du système d'exploitation sur le nombre de mmap sont probablement trop faibles, ce qui peut entraîner des exceptions de mémoire insuffisante et le conteneur Docker ne démarre pas. Sur linux, vous
devez augmenter les limites à au moins 262144 en exécutant la commande suivante en tant que root :

sudo sysctl -w vm.max_map_count=262144

Un minimum de 4 Go de RAM, Elasticsearch à lui seul a besoin d'au moins 2 Go de RAM pour fonctionner.

Installation

La première étape consiste à extraire l'image docker que nous utiliserons localement, pour ce faire, exécutez le
commande suivante :

sudo docker tirer sebp/elk

La commande précédente extraira la dernière version disponible de l'image, si vous avez besoin d'extraire des combinaisons de versions spécifiques d'Elasticsearch, Logstach ou Kibana, vous pouvez le faire en utilisant des balises.
Par exemple, l'image contenant Elasticsearch 1.7.3, Logstash 1.5.5 et Kibana 4.1.2 (la dernière image utilisant les branches Elasticsearch 1.x et Logstash 1.x) est étiquetée E1L1K4, vous pouvez donc utiliser

sudo docker pull pour tirer sebp / Elk: E1L1K4

Vous pouvez trouver une liste de toutes les balises disponibles sur Page d'images sebp/elk de Docker Hub

Utilisation

Pour exécuter l'image docker que nous venons d'extraire, nous pouvons utiliser Docker simple ou utiliser Docker-compose pour plus de personnalisation.

Utilisation de Docker

Exécutez simplement la commande suivante :

sudo docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name wapiti
sep/el

La totalité ELK stack sera démarré et accessible à l'aide des ports publiés :

• 5601 (interface Web Kibana).
• 9200 (interface Elasticsearch JSON).
• 5044 (interface Logstash Beats, reçoit les journaux de Beats tels que Filebeat).

Pour accéder à l'interface Web de Kibana, utilisez l'URL :

http://<ip-of-your-host>:560

 

Nous souhaitons vous informer que Zen Networks fournit des services autour log monitoring automatisation et DevOps. 

Zen Networks est un fournisseur leader de solutions informatiques avancées, spécialisé dans log monitoring l'automatisation ainsi que DevOps. Notre équipe d'experts propose une large gamme de services, y compris La Supervision IT, services de cloud computing, solutions agiles et automatisation. Nous connaissons également bien l'installation et la mise en œuvre d'Elasticsearch, Logstask et Kibana sur Docker.

En tirant parti de notre vaste expertise dans le domaine et de nos technologies innovantes, nous permettons à nos clients d'optimiser leur infrastructure informatique et d'atteindre l'excellence opérationnelle. Nos solutions sont conçues pour aider les organisations de toutes tailles à rationaliser leurs processus, à améliorer leur efficacité et à réduire leurs coûts.

Nous vous invitons à profiter de notre service de consultation et de devis gratuit pour en savoir plus sur la manière dont nous pouvons aider votre organisation à atteindre ses objectifs informatiques. Contact contactez-nous maintenant pour planifier votre consultation et découvrir les avantages de travailler avec Zen Networks.