ToB企服应用市场:ToB评测及商务社交产业平台

标题: 01-Elasticsearch概念和相关软件的安装 [打印本页]

---

作者: 张国伟    时间: 2022-8-30 18:25
标题: 01-Elasticsearch概念和相关软件的安装
一、ElasticSearch的倒排索引

1.1、数据库存在的问题

• 
  
• 问题1： 查询title中包含"手机"的信息
  
  
  
  • 1. SELECT * FROM goods WHERE title LIKE '%手机%'

    复制代码
  • 使用模糊搜索，左边有通配符，不会走索引，会全表扫描，性能低
    
  
  
• 问题2：查询title中包含"我要买一部华为手机"的信息
  
  
  
  • 1. SELECT * FROM goods WHERE title LIKE '%我要买一部华为手机%'

    复制代码
  • 关系型数据库提供的查询，功能太弱
    
  
  

1.2、倒排索引

了解倒排索引的存储原理

• 使用新华字典查找汉字，先找到汉字的偏旁部首，再根据偏旁部首对应的目录（索引）找到目标汉字
  
  
  
  • 
    
  
  
• ES样例
  
  
  
  • 文档0（编号0）：we like java java java
    
  • 文档1（编号1）：we like lucene lucene lucene
    
  
  
• 建立倒排索引的流程
  
  
  
  • 首先对所有数据的内容进行拆分（分词），拆分成唯一的一个词语（词条Term）
    
  • 然后建立词条和每条数据的对应关系（词条在文档出现的位置下标，出现频率），如下所示
    
  • （Term 词条）（Doc ID，Freq 频率）（Pos 位置）we(0,1) (1,1)(0,0)(1,0)like(0,1) (1,1)(0,1)(1,1)java(0,3)(2,3,4)lucene(1,3)(2,3,4)
    
  
  
• 小结
  
  
  
  • 倒排索引：将每条数据中的内容进行分词，形成词条。然后记录词条和数据的唯一标识（id）的对应关系，形成的产物
    
  
  

二、ElasticSearch存储和搜索原理

理解ElasticSearch存储和搜索原理

• 假设数据存在以下几条数据
  
  
  
  • 
    
  
  
• ES中存储以及搜索原理图如下所示
  
  
  
  • 
    
  • 说明
    
    
    
    • ES的数据库我们称其为 index （索引库），每条数据我们称之为 document （文档），ES在存储文档的时候，会对它需要分词的字段内容进行切分，切分成一个个词条，再建立每个词条与文档唯一标识（id）的对应关系，即倒排索引
      
    
    
  
  
• 我们再回过头看之间数据库存在的两个问题，通过ES是否能够解决
  
  
  
  • 问题1
    
    
    
    • 性能低：使用模糊查询，左边有通配符，不会走索引，会全表扫描，性能低
      
    • ES解决方案：如果使用"手机"作为关键字查询，ES生成的倒排索引中，词条会排序，形成一颗树形结构，提升词条的查询速度
      
    
    
  • 问题2
    
    
    
    • 功能弱：如果以"华为手机" 作为条件，查询不出来数据
      
    • ES解决方案：如果使用"华为手机"作为关键字查询，ES也可以对搜索的关键字进行分词，比如将华为手机拆分成"华为"、"手机"，然后根据两个词分词去倒排索引中进行查询，然后取结果的并集
      
    
    
  
  

三、ElasticSearch相关概念

理解ElasticSearch和关系型数据库的区别以及分工

3.1、介绍

• ElasticSearch是Java语言开发的，并作为Apache许可条款下的开放源码发布，基于Lucene实现，是一款分布式、高扩展、近实时的搜索服务，可以基于RESTful web接口进行操作
  
• 官网：https://www.elastic.co/
  
• 基于Lucene的产品
  
  
  
  • Slor：实时性偏弱，在高并发地写入数据时，Slor需要频繁地构建索引库，而索引库构建影响到查询性能
    
  • Elasticsearch：实时性非常强（近实时），ES在频繁地构建索引库的同时，不太影响查询的性能
    
  
  

3.2、应用场景

• 海量数据的查询（京东，淘宝商品搜素）
  
• 日志数据分析（ELK ElasticSearch + Logstach + Kibana 搭建日志监控平台）
  
• 实时数据分析
  
• 
  

3.3、ElasticSearch和MySQL的区别

• 我们可以把传统关系型数据库MySQL和ElasticSearch进行一下对比
  
  
  
  • MySQLElasticsearch说明DatabaseIndex索引(index)，就是文档的集合，类似数据库(Database)TableType类型（Type），就是文档的类型，相当于数据库中的表（Table）RowDocument文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式ColumnField字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）SchemaMappingMapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）indexEverything is indexedes对存储的所有数据都进行分词建立索引SQLDSL（Domain Specification Lanuage）
    
  
  
• 不难发现，两者均有其优势
  
  
  
  • MySQL：擅长事务类型操作，可以确保数据的安全和一致性，进行复杂的多表查询
    
  • ElasticSearch：擅长海量数据的搜索、分析、计算
    
  
  
• 因此在企业中，往往是两者结合使用
  
  
  
  • 对安全性要求较高的写操作，关系复杂的表需求，使用MySQL实现
    
  • 对查询性能要求较高的搜索需求，使用Elasticsearch实现
    
  • 两者再基于某种方式，实现数据的同步，保证数据一致性
    
  • 
    
  
  

3.4、小结

• 数据库查询存在的问题
  
  
  
  • 性能低
    
  • 功能较弱
    
  
  
• 倒排索引
  
  
  
  • 将文档中字段的内容进行分词，形成词条和每条数据id的对应关系
    
  
  
• Elasticsearch概念以及作用
  
  
  
  • 搜索服务器
    
  • 高性能、功能强大
    
  • 不是替换MySQL，es做搜索，MySQL做数据存储
    
  • 索引库（index）=  数据库
    
  • 类型（type）= 表
    
  • 映射（mapping）= 表结构
    
  • 文档（document）= 一行数据
    
  • 映射参数（field）= 表字段
    
  
  

四、ElasticSearch的安装

4.1、下载镜像

• 命令
  
  
  
  • docker pull elasticsearch:7.4.1
    
  
  
• 如下所示
  
  
  
  • 
    
  
  
• Windows下载很简单，去官网下载，解压后启动即可使用
  

4.2、启动容器

• 命令
  
  
  
  • 1. docker run -di --name=elasticsearch -p 9200:9200 -v /root/elasticsearch/plugins:/usr/share/elasticsearch/plugins -e "discovery.type=single-node" elasticsearch:7.4.1

    复制代码
  • 端口映射：9200
    
  • 文件夹映射：/usr/share/elasticsearch/plugins
    
  • 添加环境变量，名为discovery.type=single-node
    
  • PS：可以暂时不用理解为什么映射这个文件夹，以及后面的"discovery.type=single-node"
    
  
  
• 如下所示
  
  
  
  • 
    
  
  

4.3、浏览器访问

• 浏览器输入：http:宿主机IP:9200
  
  
  
  • 如果发现启动失败问题（内存分配原因），可以参考下面这个链接
    
    
    
    • 日常踩坑之elasticsearch docker 无法启动问题_不懂1417的博客-CSDN博客_docker无法启动elasticsearch]
      
    • 也可以参考这个命令
      
      
      
      • 1. sysctl -w vm.max_map_count=262144
        3. docker run -di --name=elasticsearch -p 9200:9200 -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node" -v /root/elasticsearch/plugins:/usr/share/elasticsearch/plugins -v /root/elasticsearch/data:/usr/share/elasticsearch/data elasticsearch:7.4.1

        复制代码
      • 主要看ES_JAVA_OPTS=-Xms512m -Xmx512m
        
      
      
    • 如果报错信息为：java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/nodes，可以参考以下的博客
      
      
      
      • java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/nodes......_杨林伟的博客-CSDN博客_java.nio.file.accessdenied
        
      
      
    
    
  • 如何查看报错信息
    
    
    
    • docker logs 容器id
      
    • 
      
    • 可以根据报错信息自行百度查看，一般都会有解决办法
      
    
    
  • 
    
  • PS：如果访问不了，记得开放端口或者关闭防火墙
    
    
    
    • 开放端口如下所示
      
    • 
      
    
    
  
  

五、Kibana的安装

kibana是elasticsearch的页面可视化工具，类似MySQL的SQLyog等可视化工具

5.1、拉取镜像

• 命令
  
  
  
  • docker pull kibana:7.4.1
    
  
  
• 如下所示
  
  
  
  • 
    
  
  

5.2、创建容器

• 命令
  
  
  
  • 1. docker run -id -p 5601:5601 --link elasticsearch --name=kibana -e "ELASTICSEARCH_URL=http://你的自己的ip地址:9200" kibana:7.4.0

    复制代码
  
  
• 如下所示
  
  
  
  • 
    
  
  

5.3、浏览器访问

• 浏览器访问：http://宿主机IP地址/5601
  
• 
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4