Spring Boot - 数据库集成06 - 集成ElasticSearch

宁睿  金牌会员 | 2025-2-20 13:51:31 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 941|帖子 941|积分 2833

Spring boot 集成 ElasticSearch


  

Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用 JSON作为文档序列化的格式
  1. {
  2.     "name" :     "John",
  3.     "sex" :      "Male",
  4.     "age" :      25,
  5.     "birthDate": "1990/05/01",
  6.     "about" :    "I love to go rock climbing",
  7.     "interests": [ "sports", "music" ]
  8. }
复制代码
ES和传统的关系型数据库相关术语对比如下：
关系型数据库ES数据库(Database)索引(index)表(table)类型(Type)[es6.0.0废弃]行(row)文档(document)列(column)字段(field)表布局(schema)映射(mapping)索引反向索引SQL查询DSLSelect * from tableGet http://…update table set…Put http://…deleteDelete http://… 一：前置工作

1：项目搭建和依赖导入

   

  • spring data -> spring-boot-starter-data-elasticsearch -> repo & template
  • transport & elasticsearch-rest-high-level-client -> client
  1. <dependencies>
  2.     <!-- spring boot启动器 -->
  3.     <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter -->
  4.     <dependency>
  5.         <groupId>org.springframework.boot</groupId>
  6.         <artifactId>spring-boot-starter</artifactId>
  7.     </dependency>
  9.     <!-- spring boot web启动器 -->
  10.     <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-web -->
  11.     <dependency>
  12.         <groupId>org.springframework.boot</groupId>
  13.         <artifactId>spring-boot-starter-web</artifactId>
  14.     </dependency>
  16.     <!-- spring boot 测试启动器 -->
  17.     <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-test -->
  18.     <dependency>
  19.         <groupId>org.springframework.boot</groupId>
  20.         <artifactId>spring-boot-starter-test</artifactId>
  21.         <scope>test</scope>
  22.     </dependency>
  24.     <!-- lombok -->
  25.     <dependency>
  26.         <groupId>org.projectlombok</groupId>
  27.         <artifactId>lombok</artifactId>
  28.     </dependency>
  30.     <!-- commons-lang3工具类 -->
  31.     <dependency>
  32.         <groupId>org.apache.commons</groupId>
  33.         <artifactId>commons-lang3</artifactId>
  34.     </dependency>
  36.     <!-- spring data elasticsearch -->
  37.     <dependency>
  38.         <groupId>org.springframework.boot</groupId>
  39.         <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
  40.     </dependency>
  42.     <!-- es 高阶客户端 -->
  43.     <dependency>
  44.         <groupId>org.elasticsearch.client</groupId>
  45.         <artifactId>elasticsearch-rest-high-level-client</artifactId>
  46.     </dependency>
  48.     <!-- es 低阶客户端 -->
  49.     <dependency>
  50.         <groupId>org.elasticsearch.client</groupId>
  51.         <artifactId>transport</artifactId>
  52.     </dependency>
  54. </dependencies>
复制代码
  1. spring:
  2.   elasticsearch:
  3.     rest:
  4.       uris: http://localhost:9200,http://localhost:9201,http://localhost:9202 # 集群地址
  5.       connection-timeout: 5s # 连接超时时间
  6.       read-timeout: 30s # 读取超时时间
  7.       max-connections: 100 # 最大连接数
  8.       max-connections-per-route: 20 # 每个路由的最大连接数
  9.       password: es_password
复制代码
2：客户端连接相关构建

  1. package com.cui.es_demo.config;
  3. import org.elasticsearch.client.RestHighLevelClient;
  4. import org.springframework.boot.context.properties.ConfigurationProperties;
  5. import org.springframework.context.annotation.Bean;
  6. import org.springframework.context.annotation.Configuration;
  7. import org.springframework.data.elasticsearch.client.ClientConfiguration;
  8. import org.springframework.data.elasticsearch.client.RestClients;
  10. import java.util.Arrays;
  12. /**
  13. * @author cui haida
  14. * 2025/1/29
  15. */
  17. @Configuration
  18. @ConfigurationProperties(prefix = "spring.elasticsearch.rest")
  19. public class ElasticSearchClientConfig {
  20.     /**
  21.      * 集群地址
  22.      */
  23.     private String uris;
  25.     /**
  26.      * 用户名和密码
  27.      */
  28.     private String username;
  29.     private String password;
  31.     @Bean
  32.     public RestHighLevelClient restHighLevelClient() {
  34.         // 创建连接, 指定url和用户名密码
  35.         ClientConfiguration build = ClientConfiguration.builder()
  36.                 .connectedTo(uris)
  37.                 .withBasicAuth(username, password)
  38.                 .build();
  40.         return RestClients.create(build).rest();
  41.     }
  42. }
复制代码
3：实体类相关注解设置说明

  1. package com.cui.es_demo.entity;
  3. import com.fasterxml.jackson.annotation.JsonFormat;
  4. import lombok.AllArgsConstructor;
  5. import lombok.Data;
  6. import lombok.NoArgsConstructor;
  7. import org.springframework.data.annotation.Id;
  8. import org.springframework.data.elasticsearch.annotations.DateFormat;
  9. import org.springframework.data.elasticsearch.annotations.Document;
  10. import org.springframework.data.elasticsearch.annotations.Field;
  11. import org.springframework.data.elasticsearch.annotations.FieldType;
  13. import java.time.LocalDateTime;
  15. /**
  16. * 实体类相关注解介绍
  17. * - @Document：指定索引库的名称，以及分片数、副本数、刷新间隔、是否允许创建索引
  18. * - @Id：指定主键
  19. * - @Field：指定字段的名称，以及字段的分词器，以及字段的存储类型，以及字段的分词器
  20. * - @JsonFormat：指定日期格式（注意日期类型字段不要用java.util.Date类型，要用java.time.LocalDate或java.time.LocalDateTime类型）
  21. * @author cui haida
  22. * 2025/1/30
  23. */
  24. @NoArgsConstructor
  25. @AllArgsConstructor
  26. @Data
  27. // 指定对应的索引名称，, 主分片数 = 3， 副本数 = 1, 刷新间隔 = 1s, 允许创建索引
  28. @Document(indexName = "person", shards = 3, replicas = 1, refreshInterval = "1s", createIndex = true)
  29. public class Person {
  30.     @Id
  31.     private String id;
  33.     @Field(type = FieldType.Keyword)
  34.     private String name;
  36.     @Field(type = FieldType.Keyword)
  37.     private String age;
  39.     // text类型，并使用IK最粗粒度的分词器
  40.     // 检索时的分词器采用的是最细粒度的IK分词器
  41.     @Field(type = FieldType.Text, analyzer = "ik_smart", searchAnalyzer = "ik_max_word")
  42.     private String address;
  44.     // 注意日期格式的特殊处理
  45.     // 指定格式化和时区
  46.     @Field(type = FieldType.Date, format = DateFormat.custom, pattern = "yyyy-MM-dd HH:mm:ss")
  47.     @JsonFormat(shape = JsonFormat.Shape.STRING, pattern = "yyyy-MM-dd HH:mm:ss", timezone = "GMT+8")
  48.     private LocalDateTime createTime;
  49. }
复制代码
二：客户端client相关操作说明

   对索引相关的操作都不推荐在这里执行，建议直接使用Kibana
  文档的更新和插入操作建议使用repo & template方式
  这里只先容查询相关操作
  1：检索流程

1.1：构建请求request和源source

  1. // 声明查询请求对象
  2. SearchRequest client = new SearchRequest();
  3. // 指定使用的索引（数据库）
  4. client.indices(index);
  6. // 声明searchSourceBuilder源对象
  7. SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  9. // ======================== 源对象其他常见设置 ===========================
  10. // 1. 排序和浅显分页
  11. // from  & size 默认都是-1，也就是有多少显示多少
  12. // from-size浅分页适合数据量不大的情况（官网推荐是数据少于10000条），可以跳码进行查询
  13. searchSourceBuilder.from(0);
  14. searchSourceBuilder.size(9999);
  16. // 2. 排序, date、float 等类型添加排序, text类型的字段不允许排序
  17. searchSourceBuilder
  18.     .sort("age", SortOrder.DESC)
  19.     .sort("name", SortOrder.ASC);
复制代码
1.2：查询建造器queryBuilder构建

  1. // =============== 以boolean为例 ==================
  2. BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery()
  3.     .must(QueryBuilders.termQuery("name.keyword", "王五"))
  4.     .mustNot(QueryBuilders.idsQuery().addIds("1", "2", "3"))
  5.     // 可以进行bool嵌套
  6.     .must(QueryBuilders.boolQuery()
  7.           .must(QueryBuilders.matchQuery("name", "张三"))
  8.          )
  9.     .boost(2.0f);
  10. // 加入对应的builder到searchSourceBuilder中
  11. searchSourceBuilder.query(boolQueryBuilder);
  14. // ============ 如果有高亮设置 ===============
  15. HighlightBuilder highlightBuilder = new HighlightBuilder();
  16. highlightBuilder.preTags("<font style='color: red'>");
  17. highlightBuilder.postTags("</font>");
  18. highlightBuilder.field("name").field("age");
  19. //同一字段中存在多个高亮值 设置都高亮
  20. highlightBuilder.requireFieldMatch(true);
  22. // 高亮属性中加入高亮配置器
  23. searchSourceBuilder.highlighter(highlightBuilder);
复制代码
1.3：请求建造器参加到请求源，请求源参加到请求中

  1. searchSourceBuilder.query(xxxQueryBuilder);
  2. // 封装request，指定要request的索引index，指定source -> searchSourceBuilder
  3. SearchRequest request = new SearchRequest(index).source(searchSourceBuilder);
  4. // 通过client.search获取响应
  5. SearchResponse response = client.search(request, RequestOptions.DEFAULT);
复制代码
1.4：效果hits和highlight分析

  1. List<Map<String, Object>> list = new ArrayList<>();
  2. SearchResponse searchResponse = this.client.search(client, RequestOptions.DEFAULT);
  3. if (searchResponse == null) {
  4.     log.warn("没有返回值");
  5.     return;
  6. }
  9. // todo: 然后从这个searchResponse解析各种的值 -> 根据返回结构
  10. int failedShards = searchResponse.getFailedShards();
  11. System.out.println("失败的分片数：" + failedShards);
  12. int successfulShards = searchResponse.getSuccessfulShards();
  13. System.out.println("成功的分片数：" + successfulShards);
  14. RestStatus status = searchResponse.status();
  15. System.out.println("状态：" + status);
  17. //解析高亮数据
  18. SearchHits hits = searchResponse.getHits();
  19. System.out.println(hits.getMaxScore());
  20. for (SearchHit hit : hits) {
  21.     System.out.println("fields: " + hit.getFields());
  22.     System.out.println("index is：" + hit.getIndex());
  23.     System.out.println("document field is: " + hit.getDocumentFields());
  24.     System.out.println("metadata field is: " + hit.getMetadataFields());
  25.     System.out.println("score is: " + hit.getScore());
  26.     System.out.println("-----------------");
  27.     //原始数据，不包含高亮的数据
  28.     Map<String, Object> sourceMap = hit.getSourceAsMap();
  29.     //高亮数据，拿到高亮字段name
  30.     Map<String, HighlightField> highlightFields = hit.getHighlightFields();
  31.     HighlightField highlightTitle = highlightFields.get("name");
  32.     //将原始数据的name替换
  33.     if (highlightTitle != null) {
  34.         Text[] fragments = highlightTitle.getFragments();
  35.         if (fragments != null && fragments.length > 0) {
  36.             sourceMap.replace("name", fragments[0].toString());
  37.         }
  38.     }
  39.     list.add(sourceMap);//循环将数据添加入列表
  40. }
  41. list.forEach(System.out::println);
复制代码
  1. package com.cui.es_demo.client;
  3. import lombok.extern.slf4j.Slf4j;
  4. import org.elasticsearch.action.search.SearchRequest;
  5. import org.elasticsearch.action.search.SearchResponse;
  6. import org.elasticsearch.client.RequestOptions;
  7. import org.elasticsearch.client.RestHighLevelClient;
  8. import org.elasticsearch.common.text.Text;
  9. import org.elasticsearch.index.query.BoolQueryBuilder;
  10. import org.elasticsearch.index.query.QueryBuilders;
  11. import org.elasticsearch.rest.RestStatus;
  12. import org.elasticsearch.search.SearchHit;
  13. import org.elasticsearch.search.SearchHits;
  14. import org.elasticsearch.search.builder.SearchSourceBuilder;
  15. import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
  16. import org.elasticsearch.search.fetch.subphase.highlight.HighlightField;
  17. import org.elasticsearch.search.sort.SortOrder;
  18. import org.springframework.stereotype.Service;
  20. import javax.annotation.Resource;
  21. import java.util.ArrayList;
  22. import java.util.List;
  23. import java.util.Map;
  25. /**
  26. * 客户端相关操作
  27. *
  28. * @author cui haida
  29. * 2025/1/30
  30. */
  31. @Service
  32. @Slf4j
  33. public class ClientDemo {
  35.     //
  36.     private final RestHighLevelClient client;
  38.     public ClientDemo(RestHighLevelClient restHighLevelClient) {
  39.         this.client = restHighLevelClient;
  40.     }
  42.     /**
  43.      * 主要介绍客户端查询操作
  44.      */
  45.     public void searchTest(String[] args) {
  46.         // 声明查询请求，同时声明作用的索引（数据库）
  47.         SearchRequest request = new SearchRequest();
  48.         request.indices("person");
  50.         // 声明searchSourceBuilder源对象
  51.         SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  53.         // ======================== 源对象其他常见设置 ===========================
  54.         // 1. 排序和浅显分页
  55.         // from  & size 默认都是-1，也就是有多少显示多少
  56.         // from-size浅分页适合数据量不大的情况（官网推荐是数据少于10000条），可以跳码进行查询
  57.         searchSourceBuilder.from(0);
  58.         searchSourceBuilder.size(9999);
  60.         // 2. 排序, date、float 等类型添加排序, text类型的字段不允许排序
  61.         searchSourceBuilder
  62.                 .sort("age", SortOrder.DESC)
  63.                 .sort("name", SortOrder.ASC);
  66.         // 构造查询建造器，根据不同的业务需求，进行不同的查询
  67.         // =============== 以boolean为例 ==================
  68.         BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery()
  69.                 .must(QueryBuilders.termQuery("name.keyword", "王五"))
  70.                 .mustNot(QueryBuilders.idsQuery().addIds("1", "2", "3"))
  71.                 // 可以进行bool嵌套
  72.                 .must(QueryBuilders.boolQuery()
  73.                         .must(QueryBuilders.matchQuery("name", "张三"))
  74.                 )
  75.                 .boost(2.0f);
  76.         // 请求构造器加入源中
  77.         searchSourceBuilder.query(boolQueryBuilder);
  80.         // ============ 如果有高亮设置 ===============
  81.         HighlightBuilder highlightBuilder = new HighlightBuilder();
  82.         highlightBuilder.preTags("<font style='color: red'>");
  83.         highlightBuilder.postTags("</font>");
  84.         highlightBuilder.field("name").field("age");
  85.         //同一字段中存在多个高亮值 设置都高亮
  86.         highlightBuilder.requireFieldMatch(true);
  87.         // 高亮属性中加入源中
  88.         searchSourceBuilder.highlighter(highlightBuilder);
  90.         // 进行查询
  91.         // 1. 设置查询源(source -> request)
  92.         request.source(searchSourceBuilder);
  93.         // 2. 通过search方法进行查询
  94.         List<Map<String, Object>> list = new ArrayList<>();
  95.         try {
  96.             SearchResponse response = client.search(request, RequestOptions.DEFAULT);
  98.             // 结果处理
  99.             System.out.println("response.getHits().getTotalHits() = " + response.getHits().getTotalHits());
  102.             // 然后从这个searchResponse解析各种的值 -> 根据返回结构
  103.             int failedShards = response.getFailedShards();
  104.             System.out.println("失败的分片数：" + failedShards);
  105.             int successfulShards = response.getSuccessfulShards();
  106.             System.out.println("成功的分片数：" + successfulShards);
  107.             RestStatus status = response.status();
  108.             System.out.println("状态：" + status);
  110.             // 解析高亮数据
  111.             SearchHits hits = response.getHits();
  112.             System.out.println(hits.getMaxScore());
  113.             for (SearchHit hit : hits) {
  114.                 System.out.println("fields: " + hit.getFields());
  115.                 System.out.println("index is：" + hit.getIndex());
  116.                 System.out.println("document field is: " + hit.getDocumentFields());
  117.                 System.out.println("metadata field is: " + hit.getMetadataFields());
  118.                 System.out.println("score is: " + hit.getScore());
  119.                 System.out.println("-----------------");
  120.                 // 原始数据，不包含高亮的数据
  121.                 Map<String, Object> sourceMap = hit.getSourceAsMap();
  122.                 // 高亮数据，拿到高亮字段name
  123.                 Map<String, org.elasticsearch.search.fetch.subphase.highlight.HighlightField> highlightFields = hit.getHighlightFields();
  124.                 HighlightField highlightTitle = highlightFields.get("name");
  125.                 // 将原始数据的name替换
  126.                 if (highlightTitle != null) {
  127.                     Text[] fragments = highlightTitle.getFragments();
  128.                     if (fragments != null && fragments.length > 0) {
  129.                         sourceMap.replace("name", fragments[0].toString());
  130.                     }
  131.                 }
  132.                 // 循环将数据添加入列表
  133.                 list.add(sourceMap);
  134.             }
  135.             list.forEach(System.out::println);
  137.         } catch (Exception e) {
  138.             e.printStackTrace();
  139.         }
  140.     }
  141. }
复制代码
2：各种查询构造器说明

2.1：MatchQueryBuilder

  1. MatchQueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("name", "李四")
  2.     // 李和四必须都出现在name字段中才可以, operator可以是OR
  3.     .operator(Operator.AND)
  4.     // 匹配度必须是 >= 75%才行
  5.     .minimumShouldMatch("75%")
  6.     // 是否忽略数据类型转换异常
  7.     .lenient(true);
复制代码
2.2：RegexQueryBuilder

  1. // 张姓开头的doc
  2. RegexpQueryBuilder regexpQueryBuilder =
  3.     QueryBuilders.regexpQuery("name", "张*").caseInsensitive(true);
复制代码
2.3：IdsQueryBuilder

  1. String[] ids = new String[]{"1", "2", "3"};
  2. IdsQueryBuilder idsQueryBuilder =
  3.     QueryBuilders.idsQuery().addIds(ids);
复制代码
2.4：MatchPhraseQueryBuilder

  1. MatchPhraseQueryBuilder match =
  2.     QueryBuilders.matchPhraseQuery("name", "李四").slop(2);
复制代码
2.5：MatchPhrasePrefixQueryBuilder

  1. MatchPhrasePrefixQueryBuilder matchPhrasePrefixQueryBuilder =
  2.     QueryBuilders.matchPhrasePrefixQuery("name", "张").maxExpansions(1);
复制代码
2.6：MultiMatchQueryBuilder

  1. String[] fieldNames = new String[]{"name", "age"};
  2. String searchText = "老坛";
  3. MultiMatchQueryBuilder multiMatchQueryBuilder = QueryBuilders.multiMatchQuery(searchText, fieldNames)
  4.     // 最多数量匹配
  5.     .type(MultiMatchQueryBuilder.Type.MOST_FIELDS)
  6.     // 使用and操作符和minimum_should_match参数来减少相关度低的文档数量
  7.     .operator(Operator.AND);
复制代码
2.7：TermQueryBuilder

  1. TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name.keyword", "李四");
  2. TermsQueryBuilder termsQueryBuilder = QueryBuilders.termsQuery("name.keyword", "李四光", "李四");
复制代码
2.8：FuzzyQueryBuilder

  1. FuzzyQueryBuilder fuzzyQueryBuilder = QueryBuilders.fuzzyQuery("name", "李四");
复制代码
2.9：RangeQueryBuilder

  1. RangeQueryBuilder ageRangeFilter = QueryBuilders.rangeQuery("age")
  2.     // greater than 12
  3.     .gt(12)
  4.     // less than 17
  5.     .lt(17);
  8. // 默认是true包含头尾，设置false去掉头尾
  9. RangeQueryBuilder ageRangeFilter2 = QueryBuilders.rangeQuery("age")
  10.     .from(12)
  11.     .to(17)
  12.     // 不包含最后一个元素
  13.     .includeLower(false)
  14.     // 包含第一个元素
  15.     .includeUpper(true);
复制代码
2.10：WildcardQueryBuilder

  1. // wildcard 通配符查询, 支持*，匹配任何字符序列, 包括空，避免*
  2. String queryString = "Lc*dd";
  3. WildcardQueryBuilder wildcardQueryBuilder = QueryBuilders.wildcardQuery("name", queryString);
复制代码
2.11：BoolQueryBuilder

  1. BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery()
  2.     .must(QueryBuilders.termQuery("name.keyword", "王五"))
  3.     .mustNot(QueryBuilders.idsQuery().addIds("1", "2", "3"))
  4.     // 可以进行bool嵌套
  5.     .must(QueryBuilders.boolQuery()
  6.           .must(QueryBuilders.matchQuery("name", "张三"))
  7.          )
  8.     .boost(2.0f);
  9. searchSourceBuilder.query(boolQueryBuilder);
复制代码
2.12：其他的QueryBuilder

  1. // 16: 其他查询
  2. // moreLikeThisQuery: 实现基于内容推荐, 支持实现一句话相似文章查询
  3. // percent_terms_to_match：匹配项（term）的百分比，默认是0.3
  4. // min_term_freq：一篇文档中一个词语至少出现次数，小于这个值的词将被忽略，默认是2
  5. // max_query_terms：一条查询语句中允许最多查询词语的个数，默认是25
  6. // stop_words：设置停止词，匹配时会忽略停止词
  7. // min_doc_freq：一个词语最少在多少篇文档中出现，小于这个值的词会将被忽略，默认是无限制
  8. // max_doc_freq：一个词语最多在多少篇文档中出现，大于这个值的词会将被忽略，默认是无限制
  9. // min_word_len：最小的词语长度，默认是0
  10. // max_word_len：最多的词语长度，默认无限制
  11. // boost_terms：设置词语权重，默认是1
  12. // boost：设置查询权重，默认是1
  13. // analyzer：设置使用的分词器，默认是使用该字段指定的分词器
  14. QueryBuilder queryBuilder = QueryBuilders.moreLikeThisQuery(new String[]{"王"})
  15.     // 一篇文档中一个词语至少出现次数，小于这个值的词将被忽略，默认是2
  16.     .minTermFreq(1)
  17.     // 一条查询语句中允许最多查询词语的个数，默认是25
  18.     .maxQueryTerms(3);
  21. // 查询条件
  22. searchSourceBuilder.query(matchQueryBuilder)
  23.     // 后置过滤器，id, exists, term, range
  24.     .postFilter(QueryBuilders.existsQuery("tag"));
复制代码
3：聚合建造器说明

3.1：构造聚合条件

  1. TermsAggregationBuilder aggregation =
  2.     AggregationBuilders.terms(等于的值).field(字段名称) // 进行分桶操作
  3.         .subAggregation(AggregationBuilders.avg(桶的名字，随便起的).field(根据xx字段分桶)) // 对每一个分桶，进行子聚合
复制代码
3.2：将聚合条件交给builder，builder交给源，封装request

  1. // 声明源
  2. SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  4. // 将查询建造器放入源，将高亮信息放入源，将聚合信息放入源
  5. searchSourceBuilder.query(boolQueryBuilder);
  6. searchSourceBuilder.highlighter(highlightBuilder);
  7. searchSourceBuilder.aggregation(aggregation);
  9. // 将源放入请求request
  10. SearchRequest request = new SearchRequest(index).source(searchSourceBuilder);
  12. // 进行查询
  13. SearchResponse response = client.search(request, RequestOptions.DEFAULT);
复制代码
3.3：效果解析和处理

  1. // 结果解析
  2. List<Object> ans = handleResult(response);
  3. // 结果处理
  4. for (Object o : ans) {
  5.     System.out.println(o.toString());
  6. }
  7. // todo: 结果解析封装
复制代码
  1. /**
  2. * 聚合查询
  3. */
  4. public void aggTest() {
  5.     // 声明查询请求，同时声明作用的索引（数据库）
  6.     SearchRequest request = new SearchRequest();
  7.     request.indices("person");
  9.     // 声明searchSourceBuilder源对象
  10.     SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  12.     // ======================== 源对象其他常见设置 ===========================
  13.     // 1. 排序和浅显分页
  14.     // from  & size 默认都是-1，也就是有多少显示多少
  15.     // from-size浅分页适合数据量不大的情况（官网推荐是数据少于10000条），可以跳码进行查询
  16.     searchSourceBuilder.from(0);
  17.     searchSourceBuilder.size(9999);
  19.     // 2. 排序, date、float 等类型添加排序, text类型的字段不允许排序
  20.     searchSourceBuilder
  21.             .sort("age", SortOrder.DESC)
  22.             .sort("name", SortOrder.ASC);
  25.     // 构造查询建造器，根据不同的业务需求，进行不同的查询
  26.     // =============== 以boolean为例 ==================
  27.     BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery()
  28.             .must(QueryBuilders.termQuery("name.keyword", "王五"))
  29.             .mustNot(QueryBuilders.idsQuery().addIds("1", "2", "3"))
  30.             // 可以进行bool嵌套
  31.             .must(QueryBuilders.boolQuery()
  32.                     .must(QueryBuilders.matchQuery("name", "张三"))
  33.             )
  34.             .boost(2.0f);
  35.     // 请求构造器加入源中
  36.     searchSourceBuilder.query(boolQueryBuilder);
  39.     // ============ 如果有高亮设置 ===============
  40.     HighlightBuilder highlightBuilder = new HighlightBuilder();
  41.     highlightBuilder.preTags("<font style='color: red'>");
  42.     highlightBuilder.postTags("</font>");
  43.     highlightBuilder.field("name").field("age");
  44.     //同一字段中存在多个高亮值 设置都高亮
  45.     highlightBuilder.requireFieldMatch(true);
  46.     // 高亮属性中加入源中
  47.     searchSourceBuilder.highlighter(highlightBuilder);
  49.     TermsAggregationBuilder aggregation =
  50.             // 进行分桶操作
  51.             AggregationBuilders.terms("Jone").field("name")
  52.                     // 对每一个分桶，进行子聚合
  53.                     .subAggregation(AggregationBuilders.avg("age_avg").field("age"));
  54.     // 将聚合结果放入源中
  55.     searchSourceBuilder.aggregation(aggregation);
  57.     // 进行查询
  58.     // 1. 设置查询源(source -> request)
  59.     request.source(searchSourceBuilder);
  60.     // 2. 通过search方法进行查询
  61.     List<Map<String, Object>> list = new ArrayList<>();
  62.     try {
  63.         SearchResponse response = client.search(request, RequestOptions.DEFAULT);
  65.         // 结果处理
  66.         System.out.println("response.getHits().getTotalHits() = " + response.getHits().getTotalHits());
  69.         // 然后从这个searchResponse解析各种的值 -> 根据返回结构
  70.         int failedShards = response.getFailedShards();
  71.         System.out.println("失败的分片数：" + failedShards);
  72.         int successfulShards = response.getSuccessfulShards();
  73.         System.out.println("成功的分片数：" + successfulShards);
  74.         RestStatus status = response.status();
  75.         System.out.println("状态：" + status);
  77.         // 解析高亮数据
  78.         SearchHits hits = response.getHits();
  79.         System.out.println(hits.getMaxScore());
  80.         for (SearchHit hit : hits) {
  81.             System.out.println("fields: " + hit.getFields());
  82.             System.out.println("index is：" + hit.getIndex());
  83.             System.out.println("document field is: " + hit.getDocumentFields());
  84.             System.out.println("metadata field is: " + hit.getMetadataFields());
  85.             System.out.println("score is: " + hit.getScore());
  86.             System.out.println("-----------------");
  87.             // 原始数据，不包含高亮的数据
  88.             Map<String, Object> sourceMap = hit.getSourceAsMap();
  89.             // 高亮数据，拿到高亮字段name
  90.             Map<String, org.elasticsearch.search.fetch.subphase.highlight.HighlightField> highlightFields = hit.getHighlightFields();
  91.             HighlightField highlightTitle = highlightFields.get("name");
  92.             // 将原始数据的name替换
  93.             if (highlightTitle != null) {
  94.                 Text[] fragments = highlightTitle.getFragments();
  95.                 if (fragments != null && fragments.length > 0) {
  96.                     sourceMap.replace("name", fragments[0].toString());
  97.                 }
  98.             }
  99.             // 循环将数据添加入列表
  100.             list.add(sourceMap);
  101.         }
  102.         list.forEach(System.out::println);
  104.     } catch (Exception e) {
  105.         e.printStackTrace();
  106.     }
  107. }
复制代码
三：repo & template

1：ElasticsearchRepository

1.1：repo先容

ElasticsearchRepository接口封装了Document的CRUD操作，我们直接界说接口继续它即可。

   ElasticsearchRepository接口的源码
  1. package org.springframework.data.elasticsearch.repository;
  3. import java.io.Serializable;
  5. import org.elasticsearch.index.query.QueryBuilder;
  6. import org.springframework.data.domain.Page;
  7. import org.springframework.data.domain.Pageable;
  8. import org.springframework.data.elasticsearch.core.query.SearchQuery;
  9. import org.springframework.data.repository.NoRepositoryBean;
  11. @NoRepositoryBean
  12. public interface ElasticsearchRepository<T, ID extends Serializable> extends ElasticsearchCrudRepository<T, ID> {
  13.     <S extends T> S index(S entity);
  14.     Iterable<T> search(QueryBuilder query);
  15.     Page<T> search(QueryBuilder query, Pageable pageable);
  16.     Page<T> search(SearchQuery searchQuery);
  17.     Page<T> searchSimilar(T entity, String[] fields, Pageable pageable);
  18.     void refresh();
  19.     Class<T> getEntityClass();
  20. }
复制代码
  CrudRepository源码
  1. package org.springframework.data.repository;
  3. import java.util.Optional;
  5. /**
  6. * Interface for generic CRUD operations on a repository for a specific type.
  7. *
  8. * @author Oliver Gierke
  9. * @author Eberhard Wolff
  10. */
  11. @NoRepositoryBean
  12. public interface CrudRepository<T, ID> extends Repository<T, ID> {
  13.     // 保存相关
  14.     <S extends T> S save(S entity);
  15.     <S extends T> Iterable<S> saveAll(Iterable<S> entities);
  16.    
  17.     // 查找相关
  18.     Optional<T> findById(ID id);
  19.     boolean existsById(ID id);
  20.     Iterable<T> findAll();
  21.     Iterable<T> findAllById(Iterable<ID> ids);
  22.    
  23.     // 计数
  24.     long count();
  25.    
  26.     // delete相关
  27.     void deleteById(ID id);
  28.     void delete(T entity);
  29.     void deleteAll(Iterable<? extends T> entities);
  30.     void deleteAll();
  31. }
复制代码
  PagingAndSortingRepository源码
  1. @NoRepositoryBean
  2. public interface PagingAndSortingRepository<T, ID> extends Repository<T, ID> {
  3.     Iterable<T> findAll(Sort sort);
  4.     Page<T> findAll(Pageable pageable);
  5. }
复制代码
可见ElasticsearchRepository为我们封装好了许多常用的方法，我们可以在使用的时间直接调用这些方法举行操作
1.2：自界说方法命名规范

和所有的Spring Data一样，都支持指定格式的函数声明，对于这些函数，不用写详细的实现，而是可以直接调用
SpringData会通过动态代理的方式，帮我们天生基础的CRUD方法
   自界说方法命名规范
  

  • findBy[fieldName]：根据指定的单个条件举行等值查询；
  • findBy[fieldName]And[fieldName]And[...]：根据指定的多条件举行and查询；
  • findBy[fieldName]Or[fieldName]Or[...]：根据指定的多条件举行or查询；
  • findBy[fieldName]Equals：根据指定的单个条件举行等值查询；
  • findBy[fieldName]In：对指定的单个字段举行in查询，入参为一个列表；
  • findBy[fieldName]Like：对指定的单个字段举行like模糊查询；
  • findBy[fieldName]NotNull：查询指定字段不为空的数据；
  • findBy[fieldName]GreaterThan：对指定的单个字段举行]范围查询；
  • findBy[fieldName]GreaterThanEqual：对指定的单个字段举行]=范围查询；
  • findBy[fieldName]LessThan：对指定的单个字段举行[范围查询；
  • findBy[fieldName]LessThanEqual：对指定的单个字段举行[=范围查询；
  • Page[...] findBy[...]：根据指定的条件举行分页查询；
  • countBy[fieldName]：根据指定的条件字段举行计数统计；
  • findTop[n]By[fieldName]：根据指定字段做等值查询，并返回前n条数据；
  • findBy[fieldName]Between：根据指定字段举行between范围查询；
  • findDistinctBy[fieldName]：根据指定的单个条件举行去重查询；
  • findFirstBy[fieldName]：根据指定的单个条件举行等值查询（只返回满足条件的第一个数据）；
  • findBy[fieldName1]OrderBy[fieldName2]：根据第一个字段做等值查询，并根据第二个字段做排序；
   各种方法名开头含义
  

  • 以get、find、read、query、stream开头，代表是查询数据的方法；
  • 以count开头，代表是计数统计的方法；
  • 以delete、remove开头，代表是删除数据的方法；
  • 以exists开头，代表是判断是否存在的方法；
  • 以search开头，代表是全文搜索的方法；
  • 以update开头，代表是修改数据的方法；
   方法名开头背面跟的关键字含义，以find开头的方法为例：
  

  • By：表示当火线法天生的查询语句，会根据By背面的逻辑来构成；
  • FirstBy：表示当火线法天生的语句，只会返回符合条件的第一条数据；
  • DistinctBy：表示当火线法天生的语句，会对符合条件的数据去重；
  • TopBy：表示当火线法天生的语句，只会返回符合条件的前N条数据；
  • [实体类名称]By：表示当火线法天生的语句，只会返回一条数据；
  • [实体类名称]sBy：表示当火线法天生的语句，会返回多条数据；
  • AllBy：表示当火线法天生的语句，会返回多条或所有数据；
  • DistinctFirstBy：表示当火线法天生的语句，只会返回去重后的第一条数据；
  • DistinctTopBy：表示当火线法天生的语句，只会返回去重后的前N条数据；
   方法名开头跟的关键字之后跟的是字段名[fieldName], 字段名称背面可以接的关键字如下
  在这些关键字之后，都是跟详细的字段名（实体类的属性名），字段名称背面可以接的关键字如下（同样以find为例）：


  • Or：表示当前查询方法有多个条件，多个条件之间为“大概”关系；
  • And：表示当前查询方法有多个条件，多个条件之间为“并且”关系；
  • OrderBy：表示当前查询会涉及到排序，背面必要跟一个排序字段；
  • Between：表示当火线法为between范围查询；
  • GreaterThan：表示当火线法为>查询；
  • GreaterThanEqual：表示当火线法为>=查询；
  • LessThan：表示当火线法为 < 查询；
  • LessThanEqual：表示当火线法为<=查询；
  • After：和GreaterThan差不多，相当于查询指定数值之后的数据；
  • Before：和LessThan差不多，查询指定条件之前的数据；
  • Containing：查询某字段中包含指定字符的数据；
  • Empty：表示当火线法会查询指定字段为空的数据，与之含义类似的另有Null、Exists；
  • Equals：表示当火线法会根据指定字段做等值查询；
  • Is：和Equals差不多；
  • In：表示当火线法为in多值匹配查询；
  • Like：表示当火线法为like模糊查询；
  • Not：可以和上述大多数关键字组合，带有Not的则含义相反，如NotEmpty表示不为空；


2：ElasticsearchRestTemplate

2.1：template先容

   template提供了浩繁模板方法，只要我们编写好对应的条件，然后调用模板方法即可
  


2.2：template查询操作

下面是操作流程【查询为例】
2.2.1：入参特别情况处理【包罗异常入参】

2.2.2：构建查询条件Criteria

  1. // 1：构建查询条件
  2. Criteria criteria = new Criteria()
  3.     // 条件一：xxxx
  4.     .and(new Criteria("字段名称").contains(条件中的内容))
  5.     // 条件二：xxx
  6.     .and(new Criteria("字段名称").is(条件中的内容));
  7. // 2：封装进入到CriteriaQuery
  8. CriteriaQuery filter = new CriteriaQuery(criteria);
  9. // 3：设置分页信息【可能没有，看业务】
  10. CriteriaQuery criteriaQuery = filter.setPageable(PageRequest.of(pageIndex, pageSize));
复制代码
2.2.3：构建高亮条件

  1. // 1：声明高亮构造器对象
  2. HighlightBuilder highlightBuilder = new HighlightBuilder();
  3. // todo: 设置高亮领域
  4. // todo: 前置后置标签
  6. // 2：构建高亮query
  7. HighlightQuery highlightQuery = new HighlightQuery(highlightBuilder);
  8. // 3：将高亮query封装进criteriaQuery中
  9. criteriaQuery.setHighlightQuery(highlightQuery);
复制代码
2.2.4：查询（也可能是其他的方法，不一定是search)

  1. elasticsearchRestTemplate.search(查询条件，返回信息的实体.class);
复制代码
2.2.5：效果封装

  1. // 对结果进行封装
复制代码
2.3：创建索引和删除索引

对于索引的创建和删除，建议照旧直接使用Kibana举行相关的操作，假如要使用template，可以输入对应的索引名称举行创建
template会到实体中找到@Document(indexName = "xxx")对应的信息，根据这个注解的设置拿到settings对应的信息设置
然后根据实体类标注的字段类型和分析器类型创建对应的mappings对应的信息设置
  1. package com.example.es_demo.pojo;
  3. import com.alibaba.fastjson.annotation.JSONField;
  4. import com.fasterxml.jackson.annotation.JsonFormat;
  5. import lombok.AllArgsConstructor;
  6. import lombok.Data;
  7. import lombok.NoArgsConstructor;
  8. import org.springframework.data.annotation.Id;
  9. import org.springframework.data.elasticsearch.annotations.DateFormat;
  10. import org.springframework.data.elasticsearch.annotations.Document;
  11. import org.springframework.data.elasticsearch.annotations.Field;
  12. import org.springframework.data.elasticsearch.annotations.FieldType;
  14. import java.time.LocalDateTime;
  16. /**
  17. * <p>
  18. * 功能描述：实体类
  19. * </p>
  20. *
  21. * @author cui haida
  22. * @date 2024/01/28/8:20
  23. */
  24. @NoArgsConstructor
  25. @AllArgsConstructor
  26. @Data
  27. @Document(indexName = "mytest") // 指定对应的索引名称
  28. public class MyTest {
  29.     @Id
  30.     @JSONField(serialize = false)
  31.     private String id;
  33.     @Field(type = FieldType.Keyword)
  34.     private String name;
  36.     @Field(type = FieldType.Keyword)
  37.     private String age;
  39.     // text类型，并使用IK最粗粒度的分词器，检索时的分词器采用的是最细粒度的IK分词器
  40.     @Field(type = FieldType.Text, analyzer = "ik_smart", searchAnalyzer = "ik_max_word")
  41.     private String address;
  43.     // 注意日期格式的特殊处理
  44.     @Field(type = FieldType.Date, format = DateFormat.custom, pattern = "yyyy-MM-dd HH:mm:ss")
  45.     @JsonFormat(shape = JsonFormat.Shape.STRING, pattern = "yyyy-MM-dd HH:mm:ss", timezone = "GMT+8")
  46.     private LocalDateTime createTime;
  47. }
复制代码
  1. public String create(String indexName) {
  2.     IndexOperations indexOperations =
  3.         elasticsearchRestTemplate.indexOps(IndexCoordinates.of(indexName));
  4.     if (indexOperations.exists()) {
  5.         return "索引已存在";
  6.     }
  7.     indexOperations.create();
  8.     return "索引创建成功";
  9. }
复制代码
  1. public String delete(String indexName) {
  2.     IndexOperations indexOperations =
  3.         elasticsearchRestTemplate.indexOps(IndexCoordinates.of(indexName));
  4.     indexOperations.delete();
  5.     return "索引删除成功";
  6. }
复制代码
3：使用实例

  1. package com.cui.es_demo.client;
  3. import com.cui.es_demo.client.repo.PersonRepository;
  4. import com.cui.es_demo.entity.PageResponse;
  5. import com.cui.es_demo.entity.Person;
  6. import lombok.extern.slf4j.Slf4j;
  7. import org.springframework.beans.factory.annotation.Autowired;
  8. import org.springframework.data.domain.Page;
  9. import org.springframework.data.domain.PageRequest;
  10. import org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate;
  11. import org.springframework.data.elasticsearch.core.SearchHit;
  12. import org.springframework.data.elasticsearch.core.SearchHits;
  13. import org.springframework.data.elasticsearch.core.query.Criteria;
  14. import org.springframework.data.elasticsearch.core.query.CriteriaQuery;
  15. import org.springframework.stereotype.Service;
  17. import java.util.ArrayList;
  18. import java.util.List;
  19. import java.util.stream.Collectors;
  21. /**
  22. * @author cui haida
  23. * 2025/1/30
  24. */
  25. @Service
  26. @Slf4j
  27. public class TemplateDemo {
  28.     // es repo -> 这里提供了Spring Data的基本方法，可以直接使用
  29.     @Autowired
  30.     PersonRepository personRepository;
  31.     // template
  32.     @Autowired
  33.     ElasticsearchRestTemplate elasticsearchRestTemplate;
  36.     // =========== repo测试 =============
  37.     // 就是直接调用对应的方法，只要语法满足上面说的Spring Data语法就可以
  38.     public void saveAll(List<Person> orders) {
  39.         personRepository.saveAll(orders);
  40.     }
  42.     public void deleteById(Integer id) {
  43.         personRepository.deleteById(id);
  44.     }
  45.     public void updateById(Person person) {
  46.         personRepository.save(person);
  47.     }
  48.     public Person findById(Integer id) {
  49.         return (Person) personRepository.findById(id).orElse(null);
  50.     }
  52.     public PageResponse<Person> findAll(Integer pageIndex, Integer pageSize) {
  53.         Page<Person> page = personRepository.findAll(PageRequest.of(pageIndex, pageSize));
  54.         PageResponse<Person> pageResponse = new PageResponse<Person>();
  55.         pageResponse.setTotal(page.getTotalElements());
  56.         pageResponse.setResult(page.getContent());
  57.         return pageResponse;
  58.     }
  60.     // =============== template测试 ==============
  61.     // 1：构造查询条件
  62.     // 2：调用template.xxx(条件)
  63.     // 3：结果处理（封装）
  64.     public PageResponse<Person> findList(Person person, Integer pageIndex, Integer pageSize) {
  65.         // 1：构建查询条件
  66.         Criteria criteria = new Criteria()
  67.                 // 条件一：文档中的orderDesc字段要包含查询条件的orderDesc字段
  68.                 .and(new Criteria("orderDesc").contains(person.getAddress()))
  69.                 // 条件二：文档中的orderNo字段要等于查询条件的orderNo字段
  70.                 .and(new Criteria("orderNo").is(person.getId()));
  71.         // 封装进入到CriteriaQuery
  72.         CriteriaQuery filter = new CriteriaQuery(criteria);
  73.         // 设置分页信息
  74.         CriteriaQuery criteriaQuery = filter.setPageable(PageRequest.of(pageIndex, pageSize));
  76.         // 2：查询 -> elasticsearchRestTemplate.search(查询条件，返回信息的实体.class)
  77.         SearchHits<Person> searchHits = elasticsearchRestTemplate.search(criteriaQuery, Person.class);
  79.         // 3：结果封装
  80.         List<Person> result = searchHits.get().map(SearchHit::getContent).collect(Collectors.toList());
  81.         PageResponse<Person> pageResponse = new PageResponse<>();
  82.         pageResponse.setTotal(searchHits.getTotalHits());
  83.         pageResponse.setResult(result);
  84.         return pageResponse;
  85.     }
  87.     public PageResponse<Person> findHighlight(Person person, Integer pageIndex, Integer pageSize) {
  88.         // 0：特殊情况的处理
  89.         if (person == null) {
  90.             PageResponse<Person> pageResponse = new PageResponse<Person>();
  91.             pageResponse.setTotal(0L);
  92.             pageResponse.setResult(new ArrayList<>());
  93.             return pageResponse;
  94.         }
  96.         // 1：构建查询条件
  97.         Criteria criteria = new Criteria()
  98.                 // 条件一：文档中的orderDesc字段要包含查询条件的orderDesc字段
  99.                 .and(new Criteria("id").contains(person.getId()))
  100.                 // 条件二：文档中的orderNo字段要等于查询条件的orderNo字段
  101.                 .and(new Criteria("address").is(person.getAddress()));
  102.         // 封装进入到CriteriaQuery
  103.         CriteriaQuery filter = new CriteriaQuery(criteria);
  104.         // 设置分页信息
  105.         CriteriaQuery criteriaQuery = filter.setPageable(PageRequest.of(pageIndex, pageSize));
  107.         // 3：查询 -> elasticsearchRestTemplate.search(查询条件，返回信息的实体.class)
  108.         SearchHits<Person> searchHits = elasticsearchRestTemplate.search(criteriaQuery, Person.class);
  109.         // 4：结果封装
  110.         // 对每一个都设置对应的高亮字段信息
  111.         List<Person> result = searchHits.get().map(SearchHit::getContent).collect(Collectors.toList());
  112.         // 封装页码信息
  113.         PageResponse<Person> pageResponse = new PageResponse<>();
  114.         pageResponse.setTotal(searchHits.getTotalHits());
  115.         pageResponse.setResult(result);
  116.         return pageResponse;
  117.     }
  118. }
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

宁睿

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表