Elasticsearch Java High Level Client [7.17] 使用

刘俊凯  论坛元老 | 2025-3-15 22:06:24 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 1800|帖子 1800|积分 5404

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
es 的 HighLevelClient存在es源代码的引用，结合springboot使用时，会存在es版本的冲突，这里纪录下解决冲突和使用方式（es已经不发起使用这个了）。

留意es服务端的版本必要与client的版本对齐，否则返回数据大概会解析失败！！！

文档地址：Java High Level REST Client | Java REST Client [7.17] | Elastic
1、起首创建个java springboot项目
源码地址：https://github.com/a66245753/es-7-high-level-client.git
pom依赖文件如下，在 dependencyManagement 里解决springboot引起的版本冲突-
  1. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  2.   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  3.   <modelVersion>4.0.0</modelVersion>
  4.   <parent>
  5.     <groupId>org.springframework.boot</groupId>
  6.     <artifactId>spring-boot-starter-parent</artifactId>
  7.     <version>2.6.4</version>
  8.     <relativePath/> <!-- lookup parent from repository -->
  9.   </parent>
  11.   <groupId>com.david</groupId>
  12.   <artifactId>es-7-high-level-client</artifactId>
  13.   <version>1.0-SNAPSHOT</version>
  14.   <packaging>jar</packaging>
  16.   <name>es-7-high-level-client</name>
  18.   <properties>
  19.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  20.     <elastic.version>7.17.28</elastic.version>
  21.   </properties>
  22.   <dependencyManagement>
  23.     <dependencies>
  24.       <!--规定版本，解决springboot引起的版本冲突-->
  25.       <dependency>
  26.         <groupId>org.elasticsearch.client</groupId>
  27.         <artifactId>elasticsearch-rest-client</artifactId>
  28.         <version>${elastic.version}</version>
  29.       </dependency>
  30.       <dependency>
  31.         <groupId>org.elasticsearch.client</groupId>
  32.         <artifactId>elasticsearch-rest-high-level-client</artifactId>
  33.         <version>${elastic.version}</version>
  34.       </dependency>
  35.       <dependency>
  36.         <groupId>org.elasticsearch</groupId>
  37.         <artifactId>elasticsearch</artifactId>
  38.         <version>${elastic.version}</version>
  39.       </dependency>
  40.     </dependencies>
  41.   </dependencyManagement>
  43.   <dependencies>
  44.     <dependency>
  45.       <groupId>org.springframework.boot</groupId>
  46.       <artifactId>spring-boot-starter-web</artifactId>
  47.     </dependency>
  48.     <dependency>
  49.       <groupId>org.springframework.boot</groupId>
  50.       <artifactId>spring-boot-starter-actuator</artifactId>
  51.     </dependency>
  52.     <dependency>
  53.       <groupId>org.elasticsearch.client</groupId>
  54.       <artifactId>elasticsearch-rest-high-level-client</artifactId>
  55.     </dependency>
  56.     <dependency>
  57.       <groupId>com.baomidou</groupId>
  58.       <artifactId>mybatis-plus-boot-starter</artifactId>
  59.       <version>3.4.1</version>
  60.     </dependency>
  61.     <dependency>
  62.       <groupId>mysql</groupId>
  63.       <artifactId>mysql-connector-java</artifactId>
  64.       <scope>runtime</scope>
  65.     </dependency>
  66.     <!-- Lombok 依赖 -->
  67.     <dependency>
  68.       <groupId>org.projectlombok</groupId>
  69.       <artifactId>lombok</artifactId>
  70.       <version>1.18.22</version>
  71.       <scope>provided</scope>
  72.     </dependency>
  73.   </dependencies>
  74. </project>
复制代码
2、配置es client为java bean
  1. @Configuration
  2. public class EsClientConfig {
  4.     @Bean
  5.     public RestHighLevelClient restHighLevelClient()
  6.     {
  7.         return new RestHighLevelClient(
  8.                 RestClient.builder(
  9.                         new HttpHost("localhost", 9200, "http")
  10.                 )
  11.         );
  12.     }
  13. }
复制代码
2.1 es id查询数据
  1. /**
  2.      * id查询
  3.      *
  4.      * @return
  5.      * @throws IOException
  6.      */
  7.     @PostMapping("/get")
  8.     public ResponseEntity<Object> get() throws IOException {
  9.         GetRequest getRequest = new GetRequest("ssp_ad_union_log_202403");
  10.         getRequest.id("fcBZZZUBJ3krEJ13KbOG");
  11.         GetResponse response = restHighLevelClient.get(getRequest, RequestOptions.DEFAULT);
  12.         return new ResponseEntity<>(response.getSourceAsMap(), HttpStatus.OK);
  13.     }
复制代码
2.2 es 多个id查询数据
  1. /**
  2.      * ids查询
  3.      *
  4.      * @return
  5.      * @throws IOException
  6.      */
  7.     @PostMapping("/getBatch")
  8.     public ResponseEntity<Object> getBatch() throws IOException {
  9.         MultiGetRequest multiGetRequest = new MultiGetRequest();
  10.         multiGetRequest.add("ssp_ad_union_log_202403","fcBZZZUBJ3krEJ13KbOG");
  11.         multiGetRequest.add("ssp_ad_union_log_202403","VsBZZZUBJ3krEJ13KbOG");
  12.         MultiGetResponse multiGetItemResponses = restHighLevelClient.multiGet(multiGetRequest, RequestOptions.DEFAULT);
  13.         return new ResponseEntity<>(multiGetItemResponses.getResponses(), HttpStatus.OK);
  14.     }
复制代码
2.3 search 分页
  1. /**
  2.      * 分页查询
  3.      *
  4.      * @param request
  5.      * @return
  6.      * @throws IOException
  7.      */
  8.     @PostMapping("/search")
  9.     public ResponseEntity<EsSearchResult> search(@RequestBody EsSearchRequest request) throws IOException {
  10.         SearchRequest searchRequest = new SearchRequest(request.getIndex());
  11.         // 构建搜索请求
  12.         SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
  13.         sourceBuilder.trackTotalHits(true);
  14.         sourceBuilder.from((request.getPageIndex() - 1) * request.getPageSize());
  15.         sourceBuilder.size(request.getPageSize());
  16.         searchRequest.source(sourceBuilder);
  17.         BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery();
  18.         if (request.getEqualsParams() != null && !request.getEqualsParams().isEmpty()) {
  19.             for (Map.Entry<String, Object> entry : request.getEqualsParams().entrySet()) {
  20.                 queryBuilder.filter(QueryBuilders.termQuery(entry.getKey(), entry.getValue()));
  21.             }
  22.         }
  23.         if (request.getLikeParams() != null && !request.getLikeParams().isEmpty()) {
  24.             for (Map.Entry<String, String> entry : request.getLikeParams().entrySet()) {
  25.                 queryBuilder.must(QueryBuilders.matchQuery(entry.getKey(), entry.getValue()));
  26.             }
  27.         }
  28.         if (request.getRangeParams() != null && !request.getRangeParams().isEmpty()) {
  29.             for (EsRangeParams rangeParam : request.getRangeParams()) {
  30.                 RangeQueryBuilder rangeQuery = QueryBuilders.rangeQuery(rangeParam.getField());
  31.                 if (rangeParam.getGte() != null) {
  32.                     rangeQuery.gte(rangeParam.getGte());
  33.                 }
  34.                 if (rangeParam.getLte() != null) {
  35.                     rangeQuery.lte(rangeParam.getLte());
  36.                 }
  37.                 queryBuilder.filter(rangeQuery);
  38.             }
  39.         }
  40.         sourceBuilder.query(queryBuilder);
  41.         // 打印查询语句，可以放到kibana中执行并分析性能
  42.         System.out.println(searchRequest.source().toString());
  43.         // 执行搜索
  44.         SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  45.         EsSearchResult result = new EsSearchResult();
  46.         result.setPageIndex(request.getPageIndex());
  47.         result.setPageSize(request.getPageSize());
  48.         result.setTotal(searchResponse.getHits().getTotalHits().value);
  49.         result.setList(Arrays.stream(searchResponse.getHits().getHits()).map(SearchHit::getSourceAsMap).collect(Collectors.toList()));
  50.         return new ResponseEntity<>(result, HttpStatus.OK);
  51.     }
复制代码
2.4 aggs 聚合统计
  1. /**
  2.      * 聚合统计
  3.      *
  4.      * @param request
  5.      * @return
  6.      * @throws IOException
  7.      */
  8.     @PostMapping("/aggs")
  9.     public ResponseEntity<List<Object>> aggs(@RequestBody EsSearchRequest request) throws IOException {
  11.         // 创建 SearchSourceBuilder 实例
  12.         SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
  14.         // 设置 track_total_hits
  15.         searchSourceBuilder.trackTotalHits(true);
  17.         // 设置分页参数
  18.         searchSourceBuilder.from(0);
  19.         searchSourceBuilder.size(1);
  21.         // 构建 bool 查询
  22.         BoolQueryBuilder boolQuery = QueryBuilders.boolQuery()
  23.                 .filter(QueryBuilders.termQuery("provinceName", "浙江"));
  25.         // 添加查询到 SearchSourceBuilder
  26.         searchSourceBuilder.query(boolQuery);
  28.         // 构建聚合
  29.         TermsAggregationBuilder cityGroup = AggregationBuilders.terms("city_group")
  30.                 .field("cityName").size(10)
  31.                 .subAggregation(AggregationBuilders.terms("network_group").field("network").size(10))
  32.                 .subAggregation(AggregationBuilders.terms("phoneBrand_group").field("phoneBrandName").size(10))
  33.                 .subAggregation(AggregationBuilders.terms("sdkVersion_group").field("sdkVersion").size(10))
  34.                 .subAggregation(AggregationBuilders.terms("platform_group").field("platformName").size(10))
  35.                 .subAggregation(AggregationBuilders.terms("req_group").field("bizType").size(10))
  36.                 .subAggregation(
  37.                         AggregationBuilders.filter("ecpm_group", QueryBuilders.termQuery("bizType", 2))
  38.                                 .subAggregation(AggregationBuilders.avg("avg_ecpm").field("ecpm"))
  39.                 );
  41.         // 添加聚合到 SearchSourceBuilder
  42.         searchSourceBuilder.aggregation(cityGroup);
  44.         // 创建 SearchRequest 并指定索引名称
  45.         SearchRequest searchRequest = new SearchRequest("ssp_ad_union_log_202403");
  46.         searchRequest.source(searchSourceBuilder);
  48.         // 执行搜索请求
  49.         SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
  50.         List<Object> result = new ArrayList<>(searchResponse.getAggregations().asList());
  51.         for (Aggregation aggregation : searchResponse.getAggregations().asList()) {
  52.             String json = aggregation.toString();
  53. //            String json = OBJECT_MAPPER.writeValueAsString(aggregation);
  54. //            Map<String, Object> map = new HashMap<>();
  55. //            BeanUtils.copyProperties(aggregation, map);
  56.             result.add(json);
  57.         }
  58.         return new ResponseEntity<>(result, HttpStatus.OK);
  59.     }
复制代码
2.5 新增单条数据
  1. /**
  2.      * 通过json新增
  3.      *
  4.      * @return
  5.      * @throws IOException
  6.      */
  7.     @RequestMapping(path = "add")
  8.     public ResponseEntity<IndexResponse> add() throws IOException {
  9.         IndexRequest indexRequest = new IndexRequest("ssp_ad_union_log_202403");
  10. //        indexRequest.id("1234567890");
  11.         indexRequest.opType(DocWriteRequest.OpType.CREATE);
  14.         indexRequest.source("{\n" +
  15.                 "          "id": 27731976,\n" +
  16.                 "          "reqId": "d63e0377-639a-4ac4-96a7-677d507e627e",\n" +
  17.                 "          "device": "android",\n" +
  18.                 "          "platform": 3,\n" +
  19.                 "          "platformName": "快手",\n" +
  20.                 "          "clientType": 1,\n" +
  21.                 "          "myAppId": "300001",\n" +
  22.                 "          "deviceId": "d63e0377-639a-4ac4-96a7-677d507e627e",\n" +
  23.                 "          "adSiteGroupId": 100000055,\n" +
  24.                 "          "adSiteId": "6827003034",\n" +
  25.                 "          "packagePath": "com.jihuomiao.app",\n" +
  26.                 "          "ecpm": 10700,\n" +
  27.                 "          "location": null,\n" +
  28.                 "          "ip": null,\n" +
  29.                 "          "cityId": 422800,\n" +
  30.                 "          "areaId": 422822,\n" +
  31.                 "          "cityName": "恩施",\n" +
  32.                 "          "areaName": "建始",\n" +
  33.                 "          "provinceId": 420000,\n" +
  34.                 "          "provinceName": "湖北",\n" +
  35.                 "          "phoneBrand": "OPPO",\n" +
  36.                 "          "phoneBrandName": "oppo",\n" +
  37.                 "          "phoneModel": null,\n" +
  38.                 "          "idfa": null,\n" +
  39.                 "          "bizType": 1,\n" +
  40.                 "          "sdkVersion": "1.0.2",\n" +
  41.                 "          "network": "5g",\n" +
  42.                 "          "logTime": "2025-03-03 15:31:10",\n" +
  43.                 "          "createdAt": "2025-03-03 15:31:10"\n" +
  44.                 "        }", XContentType.JSON);
  46.         IndexResponse indexResponse = restHighLevelClient.index(indexRequest, RequestOptions.DEFAULT);
  48.         return new ResponseEntity<>(indexResponse, HttpStatus.OK);
  50.     }
复制代码
2.6 bulk 批量新增数据
  1. @RequestMapping(path = "addBatch")
  2.     public ResponseEntity<BulkResponse> addBatch() throws IOException {
  4.         // 创建 BulkRequest
  5.         BulkRequest bulkRequest = new BulkRequest();
  6.         // 添加多个
  7.         bulkRequest.add(new IndexRequest("ssp_ad_union_log_202403")
  8. //                .id("12345678909")
  9.                 .source("{ "field1": "value1", "field2": "value2" }", XContentType.JSON));
  11.         bulkRequest.add(new IndexRequest("my_index")
  12. //                .id("12345678987654")
  13.                 .source("{ "field1": "value2", "field2": "value2" }", XContentType.JSON));
  15.         // 执行批量创建操作
  16.         BulkResponse bulkResponse = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
  17.         // 检查是否有错误
  18.         if (bulkResponse.hasFailures()) {
  19.             System.err.println("Bulk operation had failures: " + bulkResponse.buildFailureMessage());
  20.         } else {
  21.             System.out.println("All documents created successfully.");
  22.         }
  23.         return new ResponseEntity<>(bulkResponse, HttpStatus.OK);
  24.     }
复制代码
es 7 high Level client 主要的集成问题还是在与springboot的版本冲突，这点解决掉就可以了，官方文档里都能找到使用说明

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

刘俊凯

论坛元老
这个人很懒什么都没写!

楼主热帖

标签云

AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表