探索数据的力量:Elasticsearch中指定链表字段的统计查询记录 ...

打印 上一主题 下一主题

主题 1782|帖子 1782|积分 5346

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

x
目次
一、根本的数据布局阐明
二、根本的统计记录
(一)统计当前索引中sellingProducts的所有类型
(二)检索指定文档中sellingProducts的数据总量
(三)检索指定文档中sellingProducts指定类型的数量统计
(四)统计所有文档中sellingProducts中所有元素的总数
(五)统计所有文档中sellingProducts中详细分类总数统计
三、总结

干货分享,感谢您的阅读!
在当今数据驱动的时代,企业和组织面临着海量数据的寻衅,如何有效地提取和分析这些数据已成为关键题目。Elasticsearch作为一种强大的搜索和分析引擎,提供了灵活而高效的数据检索能力,能够帮助我们快速获取所需信息。本篇文章将深入探究在Elasticsearch中对sellingProducts字段的统计操作。
通过详细的案例和查询示例,我们将展示如何从sell_product_order索引中提取出关键信息,包括产物类型的统计、产物数量的计算以及更复杂的聚合查询。无论是想要相识产物销售状况的市场分析师,还是希望提升数据处理能力的开发者,本文都将为你提供实用的参考和技能支持。
在接下来的部分中,我们将逐步先容根本的数据布局、关键的统计操作以及相应的Elasticsearch查询语法,帮助读者把握在实际应用中如何进行数据统计和分析。通过这次学习,我们希望读者能够更加熟悉Elasticsearch的利用,并在实际工作中充分利用这一强大的工具,发掘出数据背后的代价。

一、根本的数据布局阐明

对应ES索引:sell_product_order
针对假设ES文档的根本布局内容如下:
  1.    {
  2.         "id": "2024041801000115936701",
  3.         "sellingProducts": [
  4.             "FUND_20150718000230030000000000002549",
  5.             "STOCK_656",
  6.             "STOCK_4055",
  7.             "STOCK_1720",
  8.             "FUND_20180920000230030000000000015303"
  9.         ]
  10.     }
复制代码
我们针对内里的sellingProducts字段进行一些根本的统计操作,本次记录一下相关的根本操作。
二、根本的统计记录

(一)统计当前索引中sellingProducts的所有类型

从 sell_product_order 索引中检索数据,然后根据 sellingProducts 字段中的内容,聚合出售产物的类型信息,并返回前 10 个最频繁出现的产物类型。
  1. GET /sell_product_order/_search
  2. {
  3.   "size": 0,
  4.   "aggs": {
  5.     "types": {
  6.       "terms": {
  7.         "script": {
  8.           "source": """
  9.             HashSet types = new HashSet();
  10.             for (item in doc['sellingProducts']) {
  11.               int delimiterIndex = item.indexOf('_');
  12.               if (delimiterIndex > -1) {
  13.                 types.add(item.substring(0, delimiterIndex));
  14.               }
  15.             }
  16.             return types;
  17.           """,
  18.           "lang": "painless"
  19.         },
  20.         "size": 10
  21.       }
  22.     }
  23.   }
  24. }
复制代码
(二)检索指定文档中sellingProducts的数据总量

从索引为 sell_product_order 中检索数据,并返回指定 _id 的文档,并在结果中包罗一个名为 sellingProducts_count 的脚本字段,用于计算每个文档中 sellingProducts 字段的巨细。
  1. GET /sell_product_order/_search
  2. {
  3.   "query": {
  4.     "terms": {
  5.       "_id": [
  6.         "2024041801000115936701"  
  7.       ]
  8.     }
  9.   },
  10.   "script_fields": {
  11.     "sellingProducts_count": {
  12.       "script": {
  13.         "lang": "painless",
  14.         "source": "doc['sellingProducts'].size()"
  15.       }
  16.     }
  17.   }
  18. }
复制代码
(三)检索指定文档中sellingProducts指定类型的数量统计

从 sell_product_order 索引中检索具有指定 _id 的文档,并在结果中返回两个计算字段,分别是 fund_count 和 stock_count,它们分别表示文档中以 'FUND_' 和 'STOCK_' 开头的元素的数量。
  1. GET /sell_product_order/_search
  2. {
  3.   "query": {
  4.     "terms": {
  5.       "_id": ["2024041801000115936701"]
  6.     }
  7.   },
  8.   "script_fields": {
  9.     "fund_count": {
  10.       "script": {
  11.         "lang": "painless",
  12.         "source": "int fundCount = 0; for (String item : doc['sellingProducts']) { if (item.startsWith('FUND_')) { fundCount++; } } return fundCount;"
  13.       }
  14.     },
  15.     "stock_count": {
  16.       "script": {
  17.         "lang": "painless",
  18.         "source": "int stockCount = 0; for (String item : doc['sellingProducts']) { if (item.startsWith('STOCK_')) { stockCount++; } } return stockCount;"
  19.       }
  20.     }
  21.   }
  22. }
复制代码
(四)统计所有文档中sellingProducts中所有元素的总数

从 sell_product_order 索引中检索所有文档,并计算 sellingProducts 字段中所有元素的总数,将结果作为 total_sellingProducts_items 的值返回。
  1. GET /sell_product_order/_search
  2. {
  3.   "size": 0,  
  4.   "aggs": {
  5.     "total_sellingProducts_items": {
  6.       "sum": {
  7.         "script": {
  8.           "source": "doc['sellingProducts'].size()",
  9.           "lang": "painless"
  10.         }
  11.       }
  12.     }
  13.   }
  14. }
复制代码
(五)统计所有文档中sellingProducts中详细分类总数统计

计算 sellingProducts 字段中以 FUND_ 开头和以 STOCK_ 开头的元素数量,将结果以 fund_count 和 stock_count 的情势返回。
  1. GET /sell_product_order/_search
  2. {
  3.   "size": 0,
  4.   "aggs": {
  5.     "totals": {
  6.       "scripted_metric": {
  7.         "init_script": "state.fund_count = 0; state.stock_count = 0;",
  8.         "map_script": """
  9.           if (doc.containsKey('sellingProducts')) {
  10.             for (def item : doc['sellingProducts']) {
  11.               if (item.startsWith('FUND_')) {
  12.                 state.fund_count++;
  13.               }
  14.               if (item.startsWith('STOCK_')) {
  15.                 state.stock_count++;
  16.               }
  17.             }
  18.           }
  19.         """,
  20.         "combine_script": "return state",
  21.         "reduce_script": """
  22.             def total_fund_count = 0;
  23.             def total_stock_count = 0;
  24.             for (state in states) {
  25.             total_fund_count += state.fund_count;
  26.             total_stock_count += state.stock_count;
  27.   }
  28.   return ['fund_count': total_fund_count, 'stock_count': total_stock_count];
  29. """
  30.       }
  31.     }
  32.   }
  33. }
复制代码
三、总结

在本文中,我们探究了如何在Elasticsearch中对sell_product_order索引中的sellingProducts字段进行根本的统计操作。通过详细的查询示例,我们展示了多种数据检索和聚合的本领,帮助我们从海量数据中提取出有代价的信息。
首先,我们先容了数据布局的根本概念,明白了如何定位目的字段。随后,我们演示了几种差别的统计方法,包括计算产物类型的出现频率、检索指定文档中产物数量、以及对产物类型进行细分统计。这些操作不仅为数据分析提供了基础支持,也为业务决策提供了有力的数据依据。
通过这些示例,读者可以看到Elasticsearch的强大灵活性,以及它在处理复杂数据查询时的高效性。这些本领不仅适用于特定的业务场景,也为进一步的深入分析和数据发掘奠定了基础。
在未来的应用中,我们鼓励读者继续探索Elasticsearch的更多功能,如更高级的聚合分析和数据可视化工具,以全面提升数据处理能力和决策支持结果。通过不断实践和学习,大家将能更好地把握这一工具,从而在日益复杂的数据环境中游刃有余。




免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

魏晓东

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表