大数据-167 ELK Elasticsearch 详细先容 特点 分片 查询

点一下关注吧！！！非常感谢！！持续更新！！！

现在已经更新到了：

• Hadoop（已更完）
  
• HDFS（已更完）
  
• MapReduce（已更完）
  
• Hive（已更完）
  
• Flume（已更完）
  
• Sqoop（已更完）
  
• Zookeeper（已更完）
  
• HBase（已更完）
  
• Redis （已更完）
  
• Kafka（已更完）
  
• Spark（已更完）
  
• Flink（已更完）
  
• ClickHouse（已更完）
  
• Kudu（已更完）
  
• Druid（已更完）
  
• Kylin（已更完）
  
• Elasticsearch（正在更新…）
  

章节内容

上节我们完成了如下的内容：

• Apache Kylin 流式构建
  
• 完备的过程记录
  

ELK

会合式日志系统

日志，对于任何系统来说都是紧张的构成部分，在盘算机系统内里，更是云云。但是由于现在的盘算机系统大多比较复杂，狠毒哦系统都不是在一个地方，甚至都是跨国界的，纵然在一个地方的系统，也有不同的泉源，比如：操作系统、应用服务、业务逻辑等等。他们都在不停的产生各种各样的日志数据，根据不完全统计，我们每天约莫要生产2EB的数据。
面对海量的数据，又是分布式在各个不同的地方，如果我们必要去查找一些紧张的信息，难道还是使用传统的方法，去登陆到一台机器上看看吗？看来传统的工具和方法是非常笨拙和低效的。于是，一些聪明人就提出了建立一套会合的方法，把不同泉源的数据会合整合到一个地方。
一个完备的会合式日志系统，是离不开以下几个主要特点的：

• 收集-可以或许采集多种泉源的日志数据
  
• 传输-可以或许稳定的把日志数据传输到中央系统
  
• 存储-怎样存储日志数据
  
• 分析-可以支持UI分析
  
• 警告-可以或许提供错误陈诉，监控机制
  

#ELK协议栈先容和体系布局

ELK其实并不是一款软件，而是一整套办理方案，是三个软件产品的首字母缩写（Elasticsearch ES），Logstash、Kibana。这三款都是开源软件，配合使用，而先后又归于 Elasttic.co 公司名下，简称 ELK 协议栈。
Elasticsearch

Elasticsearch 是一个基于 Lucene 的开源搜索引擎，主要用于实时全文搜索、分析、日志管理和数据存储。由于其高度扩展性和分布式架构，Elasticsearch 被广泛应用于企业搜索、监控系统、日志分析、推荐系统等场景。
主要特点

• 实时分析
  
• 分布式实时文件存储，并将每一个字段都编入索引
  
• 文档导向，所有的对象全部是文档
  
• 高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards和Replicas）。
  
• 接口友爱、支持JSON
  

核心功能

• 全文搜索：Elasticsearch 可以快速、高效地举行全文搜索，支持模糊匹配、通配符查询、布尔查询等。
  
• 分布式架构与高可用性：集群由多个节点构成，每个节点负责不同的数据分片，确保数据在多个节点上冗余存储，以提高系统的容错能力和高可用性。
  
• 实时数据分析：支持实时数据插入、更新和查询，得当日志分析、监控等对时效性要求高的应用场景。
  
• 支持多种数据范例：支持布局化、半布局化和非布局化数据，如 JSON、文本、地理位置数据等。
  
• RESTful API：Elasticsearch 接纳 RESTful 风格的 API，通过 HTTP 接口与客户端交互，易于集成。
  

根本架构

• 集群（Cluster）：集群是多个 Elasticsearch 节点的聚集，每个集群有唯一的名字，保证数据的一致性。
  
• 节点（Node）：集群中的每个节点就是一个 Elasticsearch 实例。不同节点可以承担不同角色（如主节点、数据节点、协调治点）。
  
• 索引（Index）：索引相当于关系型数据库中的表，是数据的逻辑聚集。每个索引包含一个或多个文档。
  
• 文档（Document）：文档是 Elasticsearch 中存储的根本单元，使用 JSON 格式表示，每个文档都有唯一的 _id。
  

分片与副本（Shard & Replica）

为了实现水平扩展，索引被分成多个主分片（Primary Shard）。每个主分片可以有多个副本（Replica Shard），提高容错性和读取性能。
查询与分析

查询 DSL（Query DSL）：Elasticsearch 使用 JSON 格式的 DSL（Domain-Specific Language）举行查询，包罗：

• Match Query：举行全文搜索。
  
• Term Query：精确匹配某一字段的值。
  
• Range Query：举行范围查询（如时间范围）。
  
• Bool Query：组合多个查询条件（如 AND、OR）。
  

聚合（Aggregation）：用于对大数据集举行分组统计和分析，如求均匀值、最大值、最小值等。支持以下范例：

• Bucket Aggregation：按条件分组，如基于时间的日期直方图。
  
• Metric Aggregation：求和、计数、均匀值等。
  
• Pipeline Aggregation：基于前一个聚合结果盘算的二次聚合。
  

范例应用场景

• 日志分析和监控：与 Logstash 和 Kibana 组合形成 ELK（Elastic Stack），用于实时日志监控和数据可视化。
  
• 企业级搜索引擎：支持全文搜索、推荐系统、网站内容搜索等。
  
• 电商平台：用于实现商品搜索和推荐功能。
  
• 地理空间数据查询：支持 geo_point 和 geo_shape 范例数据，用于存储和分析位置数据。
  
• 数据堆栈分析：支持大数据实时分析，替代部分传统 OLAP 系统。
  

Logstash

Logstash是一个具有实时渠道能力的数据收集引擎，使用JRuby语言编写，作者是天下著名的运维工程师乔丹西塞（JordanSissel）
主要特点有：

• 几乎可以访问任何数据
  
• 可以和多种外部应用结合
  
• 支持弹性扩展
  
• Shipper - 发送日志数据
  
• Broker - 收集数据 缺省内置Redis
  
• Indexer - 数据写入
  

Kibana

Kibana 是一款基于 Apache 开源协议，使用 JavaScript 语言编写的，为 Elasticsearch 提供可视化分析和Web平台，它可以在Elasticsearch的索引中查找，交互数据，生成各种维度的表图。
ELK整体架构

参考文档

• ELK官网：https://www.elastic.co/
  
• ELK官网文档：https://www.elastic.co/guide/index.html
  
• ELK中文手册：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
  
• ELK中文社区：https://elasticsearch.cn/
  
• ELK API :https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/travelansport-client.html
  

Elasticsearch

简单先容

Elasticsearch简称为ES，ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据，本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。ES也使用Java开发并使用Lucene作为其核心实现所有索引和搜索功能，但是它的目的是通过简单的RESTFUL API来隐蔽Lucene的复杂性，从而让全文搜索变得简单。
使用案例

• 2013年初，GitHub扬弃了Solr，采取Elasticsearch来做PB级的搜索，“Github使用Elasticsearch搜索20TB的数据，包罗13亿文件和1300亿航代码”
  
• 维基百科，启动Elasticsearch为基础的核心搜索架构
  
• SoundCloud，SoundCloud使用Elasticsearch为1.8亿用户提供即时而精准的音乐搜索服务
  
• 百度，百度现在广泛使用Elasticsearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自界说数据，通过对各种数据举行多维分析展示、辅助定位分析实例异常或业务异常。现在覆盖百度内部20多个业务线（包罗casio、云分析、网盟、猜测、文库、直达号、钱包、风控等）。单集群最大100台机器，200个ES节点，每天导入30TB+数据。
  
• 新浪使用ES分析处理32亿条实时日志
  
• 阿里使用ES构建本身的日志采集和分析系统
  

对比Solr

• Solr 利用 ZooKeeper 举行分布式管理，而Elasticsearch自身带有分布式协调管理功能。
  
• Solr支持更多格式的数据，而Elasticsearch仅支持JSON文件格式
  
• Solr官方提供的功能更多，而Elasticsearchb本身更注重与核心功能，高级功能多有第三方插件提供。
  
• Solr在传统的搜索应用中体现好于Elasticsearch，但在实时搜索应用时效率远低于Elasticsearch
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。