ElasticSearch-查询

尚未崩坏  金牌会员 | 2022-8-22 03:10:20 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 861|帖子 861|积分 2583

前言

前面我已经搭建好了ElasticSearch服务，并完成了MySQL到ElasticSearch的数据迁移；
使用ElasticSearch的初衷就是为了大数据搜索，本文将介绍ElaticSearch中各种查询方法；
一、精确查询（termQuery）

termQuery不会对查询条件进行分词 ，但这并不以为着查询的字段没有进行分词存储；
1.Kibana查询

term精确查询并不会对查询条件进行分词，类似于MySQL中 select * from table where 字段='xx值';
  1. GET hotel/_search
  2. {
  3.   "query": {
  4.     "term": {
  5.       "brand": {
  6.         "value": "万豪"
  7.       }
  8.     }
  9.   },
  10.   "from": 0,
  11.   "size": 20
  12. }
复制代码
2.JavaAPI查询

将以上在Kibana输入的DSM转换成Java代码；
  1. //按照品牌精确查询
  2.     @Override
  3.     public Map<String, Object> brandTermQuery(int current, int size, Map<String, Object> searchParam) {
  4.         //按品牌精确查询实现
  5.         //1.获取前端参数
  6.         String brand = (String) searchParam.get("brand");
  7.         //响应前端的Map
  8.         Map<String, Object> resultMap = new HashMap<>();
  9.         //2.构建查询条件
  10.         //查询请求
  11.         SearchRequest hotelSearchRequest = new SearchRequest("hotel");
  12.         //请求体
  13.         SearchSourceBuilder hotelSearchSourceBuilder = new SearchSourceBuilder();
  14.         //如果查询条件为空就查询所有
  15.         if (StringUtils.hasText(brand)) {
  16.             //请求体-查询部分
  17.             TermQueryBuilder hotelTermQueryBuilder = QueryBuilders.termQuery("brand", brand);
  18.             hotelSearchSourceBuilder.query(hotelTermQueryBuilder);
  19.         }
  20.         //请求体-分页部分
  21.         hotelSearchSourceBuilder.from((current - 1) * size);
  22.         hotelSearchSourceBuilder.size(size);
  23.         //查询请求-封装请求体
  24.         hotelSearchRequest.source(hotelSearchSourceBuilder);
  26.         //3.去查询
  27.         try {
  28.             SearchResponse hotelSearchResponse = restHighLevelClient.search(hotelSearchRequest, RequestOptions.DEFAULT);
  29.             //4.处理查询结果集
  30.             SearchHits hotelSearchResponseHits = hotelSearchResponse.getHits();
  31.             //获取命中总条目
  32.             Long totalHotelHits = hotelSearchResponseHits.getTotalHits().value;
  33.             //获取命中的每1个条
  34.             SearchHit[] hoteHits = hotelSearchResponseHits.getHits();
  35.             //前端
  36.             ArrayList<HotelEntity> hotelEntitieList = new ArrayList<>();
  37.             if (hoteHits != null || hoteHits.length > 0) {
  38.                 for (SearchHit hoteHit : hoteHits) {
  39.                     String sourceAsString = hoteHit.getSourceAsString();
  40.                     //字符串转换成Java对象
  41.                     HotelEntity hotelEntity = JSON.parseObject(sourceAsString, HotelEntity.class);
  42.                     hotelEntitieList.add(hotelEntity);
  43.                 }
  44.             }
  45.             //前端展示
  46.             resultMap.put("list", hotelEntitieList);
  47.             resultMap.put("totalResultSize", totalHotelHits);
  48.             //设置分页相关
  49.             resultMap.put("current", current);
  50.             resultMap.put("totalPage", (totalHotelHits + size - 1) / size);
  51.         } catch (IOException e) {
  52.             throw new RuntimeException(e);
  53.         }
  55.         return resultMap;
  56.     }
复制代码
HotelServiceImpl.java 
二、中文分词器

如果设置了字段的type为keyword，就可以对该字段使用term精确查询；
如果设置了字段的type为text，当添加文档时，对于该域的值会进行分词，形成若干term（词条）存储在倒排索引中。
当用户进行term查询时，ES会将当前查询条件当做1个term（词条），和当前倒排索引中term（词条）进行匹配？
匹配成功则会查询到数据，如果倒排索引中不存在该term（词条）则查询不到数据。
那我们如何对text类型的字段进行term查询呢？
这就需要利用中文分词器对文档中的内容进行中文分词， 重构ES的倒排索引的结构，把整个文档分词成为若干中文term（词条）

1.ElasticSearch内置分词器

在ElasticSearch默认内置了多种分词器：

  • Standard Analyzer - 默认分词器，按英文空格切分
  •  Simple Analyzer - 按照非字母切分(符号被过滤)
  •  Stop Analyzer - 小写处理，停用词过滤(the,a,is)
  •  Whitespace Analyzer - 按照空格切分，不转小写
  • Keyword Analyzer - 不分词，直接将输入当作输出
  • Patter Analyzer - 正则表达式，默认\W+(非字符分割)
 
2.默认分词无法对中文分词

看看ES是默认使用Standard Analyzer分词器对文档内容进行分词；
  1. GET _analyze
  2. {<br>"text": "北京市东城区万豪酒店"
  3. }
复制代码
此时可以发现Standard Analyzer分词器把每1个汉字形成了一个词，这显然无法满足汉语搜索习惯；

 
3.安装IK分词器

IK分词器是国人开发的1款智能中文分词器，基于Java语言开发、具有60万字/秒的高速处理能力。
并且用户可以按需求，设置停用词与扩展词。
3.1.上传IK安装包
  1. #因为启动es时候 已经做好的目录挂载
  2. 容器内部:/usr/share/elasticsearch/plugins
  3. 宿主机:/mydata/elasticsearch/plugins
  5. 所以只需要将文件复制到/mydata/elasticsearch/plugins 目录下即可
复制代码
3.2.重启容器
  1. docker restart elasticsearch
复制代码
 3.3.测试
  1. GET /_analyze
  2. {
  3.   "analyzer": "ik_max_word",
  4.   "text": "北京市东城区万豪酒店"
  5. }
复制代码
 
4.使用IK分词器

4.1.分词模式

IK分词器有两种分词模式it_max_word和ik_smart模式

  • ik_max_word：细粒度分词，存储的时候分词可以细粒度一些；
  • ik_smart：粗粒度分词，搜索的时候可以对搜索条件分词粗粒度一些；
4.2.配置自定义词库

IK分词器虽然非常智能。但是中华语言博大精深，其并不能完全识别所有的词。
如在文档存储时，无法对专业术语、店名、网络词语等等。所以IK提供了扩展词库，用户可以按需求添加自定义分词数据。
4.2.1.定义扩展词

4.2.2.定义停用词

4.3.修改IK分词器的配置文件
  1. vim IKAnalyzer.cfg.xml
  2. #修改配置文件 注意这个地方 不要把搞乱码了!!!
  4. <?xml version="1.0" encoding="UTF-8"?>
  5. <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
  6. <properties>
  7.     <comment>IK Analyzer 扩展配置</comment>
  8.    
  9.     <entry key="ext_dict">my.dic</entry>
  10.      
  11.     <entry key="ext_stopwords">extra_stopword.dic</entry>
  12.    
  13.     <entry key="remote_ext_dict">http://106.75.109.43:28888/remote.dic</entry>
  14.    
  15.    
  16. </properties>
复制代码
 
4.4.重建索引指定分词器

把数据从原索引（表）中迁移到目标索引（表）；
如果是线上环境，在重建索引时，一定要选择异步构建和平滑构建； 
  1. PUT hotel_2
  2. {
  3.   "mappings": {
  4.     "properties": {
  5.       "name":{
  6.         "type": "text",
  7.         "analyzer": "ik_max_word",
  8.         "search_analyzer": "ik_smart"
  9.       },
  10.       "address":{
  11.         "type": "text",
  12.         "analyzer": "ik_max_word",
  13.         "search_analyzer": "ik_smart"
  14.       },
  15.       "brand":{
  16.         "type": "keyword"
  17.       },
  18.       "type":{
  19.         "type": "keyword"
  20.       },
  21.        "price":{
  22.         "type": "integer"
  23.       },
  24.       "specs":{
  25.         "type": "keyword"
  26.       },
  27.        "salesVolume":{
  28.         "type": "integer"
  29.       },
  30.       "area":{
  31.         "type": "text",
  32.         "analyzer": "ik_max_word",
  33.         "search_analyzer": "ik_smart"
  34.       },
  35.       "imageUrl":{
  36.         "type": "text"
  37.       },
  38.       "synopsis":{
  39.         "type": "text",
  40.         "analyzer": "ik_max_word",
  41.         "search_analyzer": "ik_smart"
  42.       },
  43.       "createTime":{
  44.         "type": "date",
  45.         "format": "yyyy-MM-dd"
  46.       },
  47.       "isAd":{
  48.         "type":"integer"
  49.       }
  50.     }
  51.   }
  52. }
  55. #重建索引 异步构建和平滑构建
  56. POST _reindex?wait_for_completion=false&requests_per_second=2000
  57. {
  58.   "source": {
  59.     "index": "原始索引名字"
  60.   },
  61.   "dest": {
  62.     "index": "目标索引名字"
  63.   }
  64. }
  66. #查看任务完成情况
  67. GET _tasks/任务id
  69. #重建别名关联关系
  70. #断开原来的关系
  71. POST _aliases
  72. {
  73.   "actions": [
  74.     {
  75.       "remove": {
  76.         "index": "hotel_1",
  77.         "alias": "hotel"
  78.       }
  79.     }
  80.   ]
  81. }
  82. #删除原来的索引表
  83. DELETE hotel_1
  85. #新建hotel_2的关系
  86. POST _aliases
  87. {
  88.   "actions": [
  89.     {
  90.       "add": {
  91.         "index": "hotel_2",
  92.         "alias": "hotel"
  93.       }
  94.     }
  95.   ]
  96. }
复制代码
dms 
4.5.测试文档是否被分词

此时文档在存储时已经被中文分词器进行了中文分词并存储，我们就可以使用termQuery精确查询进行分词结果测试了；
由于termQuery精确查询，不会对查询条件进行分词，所依我根据分词结果进行查询，如果分词成功，就会查询到text字段的结果；
 
三、分词查询（mathQuery）

上述的term精确查询必须要根据分词之后的结果进行精确查询；
可是用户不知道你的文档是怎么分词的，所以我们需要对用户的查询条件也进行分词；
1.Kibana分词查询
  1. GET hotel/_search
  2. {
  3.   "query": {
  4.     "match": {
  5.      "name":"北京市东城区瑞麟湾"
  6.     }
  7.   }
  8. }
复制代码
matchQuery会对查询条件进行分词，并拿分词后的结果，去ES中进行逐一匹配，默认取结果并集。
2.JavaAPI分词查询

  1. //根据酒店名称匹配查询
  2.     @Override
  3.     public Map<String, Object> nameMatchQuery(Integer current, Integer size, Map<String, Object> searchParam) {
  4.         //设置查询
  5.         SearchRequest searchRequest = new SearchRequest("hotel");
  6.         SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  7.         Map<String, Object> map = new HashMap<>();
  8.         //获取name参数
  9.         String name = (String) searchParam.get("name");
  10.         if (StringUtils.hasText(name)) {
  11.             //组装查询对象
  12.             MatchQueryBuilder nameMatchQueryBuilder = QueryBuilders.matchQuery("name", name);
  13.             searchSourceBuilder.query(nameMatchQueryBuilder);
  14.         }
  15.         //设置分页
  16.         searchSourceBuilder.from((current - 1) * size);
  17.         searchSourceBuilder.size(size);
  19.         searchRequest.source(searchSourceBuilder);
  21.         //处理查询结果
  22.         try {
  23.             SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  25.             SearchHits hits = searchResponse.getHits();
  27.             long totalHits = hits.getTotalHits().value;
  29.             SearchHit[] searchHits = hits.getHits();
  31.             List<HotelEntity> list = new ArrayList<>();
  33.             for (SearchHit searchHit : searchHits) {
  34.                 String sourceAsString = searchHit.getSourceAsString();
  35.                 list.add(JSON.parseObject(sourceAsString, HotelEntity.class));
  36.             }
  37.             map.put("list", list);
  38.             map.put("totalResultSize", totalHits);
  39.             map.put("current", current);
  40.             //设置总页数
  41.             map.put("totalPage", (totalHits + size - 1) / size);
  42.         } catch (IOException e) {
  43.             throw new RuntimeException(e);
  44.         }
  45.         return map;
  46.     }
复制代码
HotelServiceImpl.java 
四、模糊搜索（wildcardQuery）

当在搜索框进行搜索时，展示出所有品牌以美开头的酒店。
wildcardQuery：会对查询条件进行分词，还可以使用通配符 ?（任意单个字符） 和 * （0个或多个字符）
1.Kibana分词查询
  1. GET hotel/_search
  2. {
  3.   "query": {
  4.     "wildcard": {
  5.       "brand": {
  6.         "value": "美*"
  7.       }
  8.     }
  9.   }
  10. }
复制代码
2.JavaAPI分词查询

  1. //根据酒店品牌模糊查询
  2.     @Override
  3.     public Map<String, Object> nameWildcardQuery(Integer current, Integer size, Map<String, Object> searchParam) {
  4.         //设置查询
  5.         SearchRequest searchRequest = new SearchRequest("hotel");
  6.         SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  8.         //根据酒店名称模糊查询
  9.         //1.获取前端参数
  10.         String name = (String) searchParam.get("name");
  11.         //2.组装查询对象
  12.         if (StringUtils.hasText(name)) {
  13.             WildcardQueryBuilder brandWildcardQuery = QueryBuilders.wildcardQuery("brand", name+"*");
  14.             searchSourceBuilder.query(brandWildcardQuery);
  15.         }
  17.         //设置分页
  18.         searchSourceBuilder.from((current - 1) * size);
  19.         searchSourceBuilder.size(size);
  21.         searchRequest.source(searchSourceBuilder);
  22.         Map<String, Object> map = new HashMap<>();
  24.         try {
  25.             SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  27.             SearchHits hits = searchResponse.getHits();
  28.             long totalHits = hits.getTotalHits().value;
  29.             SearchHit[] searchHits = hits.getHits();
  30.             List<HotelEntity> list = new ArrayList<>();
  31.             for (SearchHit searchHit : searchHits) {
  32.                 String sourceAsString = searchHit.getSourceAsString();
  33.                 list.add(JSON.parseObject(sourceAsString, HotelEntity.class));
  34.             }
  35.             map.put("list", list);
  36.             map.put("totalResultSize", totalHits);
  37.             map.put("current", current);
  38.             //设置总页数
  39.             map.put("totalPage", (totalHits + size - 1) / size);
  40.         } catch (IOException e) {
  41.             throw new RuntimeException(e);
  42.         }
  43.         return map;
  44.     }
复制代码
HotelServiceImpl.java 
五、多域(字段)查询

当用户在搜索框输入查询条件时，为了给用户展示更多的数据，该条件不应该仅仅作用于某1个域（字段），而要让其作用于多个域进行搜索，从而搜索出更多的查询结果。
类似于MySQL数据中的 select * from table 字段1=条件  or 字段2=条件.....;
简而言之就是使用1个条件去多个字段中查询；
当前需要将用户的搜索条件，作用于：酒店名称(name)、酒店描述(synopsis)、酒店地区(area)、酒店地址(address);
1.Kibana查询
  1. GET hotel/_search
  2. {
  3.   "query": {
  4.     "query_string": {
  5.       "fields": ["name","brand","address","synopsis"],
  6.       "query": "万豪 OR 北京 OR 上海"
  7.     }
  8.   }
  9. }
复制代码
2.JavaAPI查询

  1.     //根据name,synopsis,area,address进行多域(字段)查询
  2.     @Override
  3.     public Map<String, Object> searchQueryStringQuery(Integer current, Integer size, Map<String, Object> searchParam) {
  4.         //设置查询
  5.         SearchRequest searchRequest = new SearchRequest("hotel");
  6.         SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  7.         Map<String, Object> map = new HashMap<>();
  8.         //根据name,synopsis,area,address进行多域查询
  9.         String condition = (String) searchParam.get("condition");
  10.         //组装查询对象
  11.         if (StringUtils.hasText(condition)) {
  12.             QueryStringQueryBuilder queryStringQueryBuilder = QueryBuilders.queryStringQuery(condition)
  13.                     .field("name")
  14.                     .field("address")
  15.                     .field("synopsis")
  16.                     .field("area")
  17.                     .defaultOperator(Operator.OR);
  18.             searchSourceBuilder.query(queryStringQueryBuilder);
  19.         }
  21.         //设置分页
  22.         searchSourceBuilder.from((current - 1) * size);
  23.         searchSourceBuilder.size(size);
  25.         searchRequest.source(searchSourceBuilder);
  26.         try {
  27.             SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  29.             SearchHits hits = searchResponse.getHits();
  31.             long totalHits = hits.getTotalHits().value;
  33.             SearchHit[] searchHits = hits.getHits();
  35.             List<HotelEntity> list = new ArrayList<>();
  37.             for (SearchHit searchHit : searchHits) {
  38.                 String sourceAsString = searchHit.getSourceAsString();
  39.                 list.add(JSON.parseObject(sourceAsString, HotelEntity.class));
  40.             }
  43.             map.put("list", list);
  44.             map.put("totalResultSize", totalHits);
  45.             map.put("current", current);
  46.             //设置总页数
  47.             map.put("totalPage", (totalHits + size - 1) / size);
  48.         } catch (IOException e) {
  49.             throw new RuntimeException(e);
  50.         }
  51.         return map;
  52.     }
复制代码
HotelServiceImpl 
六、排序查询（sort）

当用户进行搜索时，有时会关注该商品的销量、评论数等信息，对这些进行进行排序，搜索出销量最高或评论数最多的商品。
1.Kibana查询
  1. #排序查询:支持多字段排序
  2. GET hotel/_search
  3. {
  4.   "query": {
  5.     "match_all": {}
  6.   },
  7.   "sort": [
  8.     {
  9.       "price": {
  10.         "order": "desc"
  11.       }
  12.     },
  13.      {
  14.       "salesVolume": {
  15.         "order": "asc"
  16.       }
  17.     }
  18.   ]
  19. }
复制代码
2.JavaAPI查询

 
 
 
七、范围查询（range）

 
八、多条件查询

 
九、纠错查询（fuzzy）

 
十、高亮展示搜索结果

当用户在搜索框输入搜索条件后，对于查询结果的展示，应将搜索条件以特殊的样式展示，这种查询就称为高亮结果查询；

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
参考
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

正序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

尚未崩坏

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表