Linux教程：Elk（Elasticsearch+LogStash+Kibana日记收集体系+Kafka+Filebe ...

1. 关注微信公众号（首席摸鱼师）免费查看全部文章

复制代码

一、为什么利用ELK

   一样平常我们需要进行日记分析场景：通常是在Linux服务器上找到日记文件目录，在进行tail等grep操作来筛选检察，操作非常麻烦，尤其是集群环境中，通常需要找到更多文件来分析，服从低下，面临问题包括日记量太大如何归档、文本搜刮太慢怎么办、如何多维度查询。需要会合化的日记管理，全部服务器上的日记收集汇总。常看法决思路是建立会合式日记收集体系，将全部节点上的日记同一收集，管理，访问。此时Elk就是这样的一款日记体系。
  二、Elk介绍

   ELK平台是一套完备的日记会合处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合利用，完成更强大的用户对日记的查询、排序、统计需求 ELK 是 Elasticsearch、Logstash、Kibana的缩写，这三个工具组合在一起，用于数据收集、存储、 搜刮和可视化分析，称为“Elastic Stack”（从前称为“ELK stack”）。
  

它们的角色如下：

• Elasticsearch：核心搜刮和分析引擎，负责存储数据并提供快速的全文搜刮和分析功能
  
• Logstash：数据收集和处理管道，能够从各种来源（如日记文件、数据库）收集数据，并进行过滤和转换，然后将其发送到Elasticsearch
  
• Kibana：数据可视化工具，提供图形界面来展示和分析存储在Elasticsearch中的数据，支持创建各种图表和仪表板
  

因本次是直接收集log日记文件，并对高并发日记数据进行流量削峰和缓冲，以是额外采用了Filebeat和Kafka两款开源软件
完备架构如下图所示：

三、Elasticsearch

   Elasticsearch是一个分布式、高扩展、高实时的搜刮与数据分析引擎。它能很方便的使大量数据具有搜刮、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。Elasticsearch的实现原理主要分为以下几个步调，起首用户将数据提交到Elasticsearch数据库中，再通太过词控制器去将对应的语句分词，将其权重和分词效果一并存入数据，当用户搜刮数据时间，再根据权重将效果排名，打分，再将返回效果出现给用户。
  

有关概念：

• cluster：代表一个集群，集群中有多个节点，此中有一个为主节点，这个主节点是可以通过推选产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通讯和与整个es集群通讯是等价的。
  
• shards&
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。