IT评测·应用市场-qidao123.com技术社区

标题: 大数据-167 ELK Elasticsearch 详细先容特点分片查询 [打印本页]

作者: 飞不高 时间: 2024-10-19 22:37
标题: 大数据-167 ELK Elasticsearch 详细先容特点分片查询
点一下关注吧！！！非常感谢！！持续更新！！！

现在已经更新到了：

Hadoop（已更完）
HDFS（已更完）
MapReduce（已更完）
Hive（已更完）
Flume（已更完）
Sqoop（已更完）
Zookeeper（已更完）
HBase（已更完）
Redis （已更完）
Kafka（已更完）
Spark（已更完）
Flink（已更完）
ClickHouse（已更完）
Kudu（已更完）
Druid（已更完）
Kylin（已更完）
Elasticsearch（正在更新…）

章节内容

上节我们完成了如下的内容：

Apache Kylin 流式构建
完备的过程记录

ELK

会合式日志系统

日志，对于任何系统来说都是紧张的构成部分，在盘算机系统内里，更是云云。但是由于现在的盘算机系统大多比较复杂，狠毒哦系统都不是在一个地方，甚至都是跨国界的，纵然在一个地方的系统，也有不同的泉源，比如：操作系统、应用服务、业务逻辑等等。他们都在不停的产生各种各样的日志数据，根据不完全统计，我们每天约莫要生产2EB的数据。
面对海量的数据，又是分布式在各个不同的地方，如果我们必要去查找一些紧张的信息，难道还是使用传统的方法，去登陆到一台机器上看看吗？看来传统的工具和方法是非常笨拙和低效的。于是，一些聪明人就提出了建立一套会合的方法，把不同泉源的数据会合整合到一个地方。
一个完备的会合式日志系统，是离不开以下几个主要特点的：

收集-可以或许采集多种泉源的日志数据
传输-可以或许稳定的把日志数据传输到中央系统
存储-怎样存储日志数据
分析-可以支持UI分析
警告-可以或许提供错误陈诉，监控机制

#ELK协议栈先容和体系布局

ELK其实并不是一款软件，而是一整套办理方案，是三个软件产品的首字母缩写（Elasticsearch ES），Logstash、Kibana。这三款都是开源软件，配合使用，而先后又归于 Elasttic.co 公司名下，简称 ELK 协议栈。
Elasticsearch

Elasticsearch 是一个基于 Lucene 的开源搜索引擎，主要用于实时全文搜索、分析、日志管理和数据存储。由于其高度扩展性和分布式架构，Elasticsearch 被广泛应用于企业搜索、监控系统、日志分析、推荐系统等场景。
主要特点

实时分析
分布式实时文件存储，并将每一个字段都编入索引
文档导向，所有的对象全部是文档
高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards和Replicas）。
接口友爱、支持JSON

核心功能

全文搜索：Elasticsearch 可以快速、高效地举行全文搜索，支持模糊匹配、通配符查询、布尔查询等。
分布式架构与高可用性：集群由多个节点构成，每个节点负责不同的数据分片，确保数据在多个节点上冗余存储，以提高系统的容错能力和高可用性。
实时数据分析：支持实时数据插入、更新和查询，得当日志分析、监控等对时效性要求高的应用场景。
支持多种数据范例：支持布局化、半布局化和非布局化数据，如 JSON、文本、地理位置数据等。
RESTful API：Elasticsearch 接纳 RESTful 风格的 API，通过 HTTP 接口与客户端交互，易于集成。

根本架构

集群（Cluster）：集群是多个 Elasticsearch 节点的聚集，每个集群有唯一的名字，保证数据的一致性。
节点（Node）：集群中的每个节点就是一个 Elasticsearch 实例。不同节点可以承担不同角色（如主节点、数据节点、协调治点）。
索引（Index）：索引相当于关系型数据库中的表，是数据的逻辑聚集。每个索引包含一个或多个文档。
文档（Document）：文档是 Elasticsearch 中存储的根本单元，使用 JSON 格式表示，每个文档都有唯一的 _id。

分片与副本（Shard & Replica）

为了实现水平扩展，索引被分成多个主分片（Primary Shard）。每个主分片可以有多个副本（Replica Shard），提高容错性和读取性能。
查询与分析

查询 DSL（Query DSL）：Elasticsearch 使用 JSON 格式的 DSL（Domain-Specific Language）举行查询，包罗：

Match Query：举行全文搜索。
Term Query：精确匹配某一字段的值。
Range Query：举行范围查询（如时间范围）。
Bool Query：组合多个查询条件（如 AND、OR）。

聚合（Aggregation）：用于对大数据集举行分组统计和分析，如求均匀值、最大值、最小值等。支持以下范例：

Bucket Aggregation：按条件分组，如基于时间的日期直方图。
Metric Aggregation：求和、计数、均匀值等。
Pipeline Aggregation：基于前一个聚合结果盘算的二次聚合。

范例应用场景

日志分析和监控：与 Logstash 和 Kibana 组合形成 ELK（Elastic Stack），用于实时日志监控和数据可视化。
企业级搜索引擎：支持全文搜索、推荐系统、网站内容搜索等。
电商平台：用于实现商品搜索和推荐功能。
地理空间数据查询：支持 geo_point 和 geo_shape 范例数据，用于存储和分析位置数据。
数据堆栈分析：支持大数据实时分析，替代部分传统 OLAP 系统。

Logstash

Logstash是一个具有实时渠道能力的数据收集引擎，使用JRuby语言编写，作者是天下著名的运维工程师乔丹西塞（JordanSissel）
主要特点有：

几乎可以访问任何数据
可以和多种外部应用结合
支持弹性扩展
Shipper - 发送日志数据
Broker - 收集数据缺省内置Redis
Indexer - 数据写入

Kibana

Kibana 是一款基于 Apache 开源协议，使用 JavaScript 语言编写的，为 Elasticsearch 提供可视化分析和Web平台，它可以在Elasticsearch的索引中查找，交互数据，生成各种维度的表图。
ELK整体架构

参考文档

ELK官网：https://www.elastic.co/
ELK官网文档：https://www.elastic.co/guide/index.html
ELK中文手册：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
ELK中文社区：https://elasticsearch.cn/
ELK API :https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/travelansport-client.html

Elasticsearch

简单先容

Elasticsearch简称为ES，ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据，本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。ES也使用Java开发并使用Lucene作为其核心实现所有索引和搜索功能，但是它的目的是通过简单的RESTFUL API来隐蔽Lucene的复杂性，从而让全文搜索变得简单。
使用案例

2013年初，GitHub扬弃了Solr，采取Elasticsearch来做PB级的搜索，“Github使用Elasticsearch搜索20TB的数据，包罗13亿文件和1300亿航代码”
维基百科，启动Elasticsearch为基础的核心搜索架构
SoundCloud，SoundCloud使用Elasticsearch为1.8亿用户提供即时而精准的音乐搜索服务
百度，百度现在广泛使用Elasticsearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自界说数据，通过对各种数据举行多维分析展示、辅助定位分析实例异常或业务异常。现在覆盖百度内部20多个业务线（包罗casio、云分析、网盟、猜测、文库、直达号、钱包、风控等）。单集群最大100台机器，200个ES节点，每天导入30TB+数据。
新浪使用ES分析处理32亿条实时日志
阿里使用ES构建本身的日志采集和分析系统

对比Solr

Solr 利用 ZooKeeper 举行分布式管理，而Elasticsearch自身带有分布式协调管理功能。
Solr支持更多格式的数据，而Elasticsearch仅支持JSON文件格式
Solr官方提供的功能更多，而Elasticsearchb本身更注重与核心功能，高级功能多有第三方插件提供。
Solr在传统的搜索应用中体现好于Elasticsearch，但在实时搜索应用时效率远低于Elasticsearch

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)