ToB企服应用市场:ToB评测及商务社交产业平台

标题: Elasticsearch如何聚合查询多个统计值，如何嵌套聚合？并相互引用，统计索 [打印本页]

---

作者: 民工心事    时间: 2024-6-19 18:00
标题: Elasticsearch如何聚合查询多个统计值，如何嵌套聚合？并相互引用，统计索
目录

• Elasticsearch聚合查询说明
  
  
  
  • 空值率查询DSL
    
  
  
• Elasticsearch聚合基础知识扩展
  
  
  
  • Elasticsearch聚合概念
    
  • Script 用法
    
  • Elasticsearch聚合查询语法
    
    
    
    • 指标聚合（Metric Aggregations）
      
    • 桶聚合（Bucket Aggregations）
      
    • 矩阵聚合（Matrix Aggregations）
      
    • 组合聚合（Pipeline Aggregations）
      
    
    
  
  

Elasticsearch聚合查询说明

Elasticsearch聚合查询是一种强大的工具，允许我们对索引中的数据进行复杂的统计分析和计算。本文将详细解释一个聚合查询示例，该查询用于统计满足特定条件的文档数量，并计算其占总文档数量的百分比。这里回会分享如何统计某个字段的空值率，然后扩展先容ES的一些基础知识。

空值率查询DSL

此查询结构通过 GET /my_index/_search 发送到 Elasticsearch，以实现对索引 my_index 的聚合分析。查询分为以下几个部分：

1. {
2.   "size": 0, // 不返回任何搜索结果，只聚合数据
3.   "aggs": {
4.     "all_documents_agg": { // 聚合所有文档
5.       "terms": {
6.         "script": {
7.           "source": "return 'all_documents';" // 强制所有文档聚合到一个桶中
8.         }
9.       },
10.       "aggs": {
11.         "total_count": { // 统计所有文档的数量
12.           "value_count": {
13.             "field": "_id" // 使用文档的ID字段进行计数
14.           }
15.         },
16.         "filtered_count": { // 统计满足特定条件的文档数量
17.           "value_count": {
18.             "script": {
19.               "source": "if (doc['my_field'].size() != 0 && doc['my_field'].value != '') return 1" // 统计字段 'my_field' 非空且非零的文档数量
20.             }
21.           }
22.         },
23.         "percentage_agg": { // 计算满足特定条件的文档数量占总文档数量的百分比
24.           "bucket_script": {
25.             "buckets_path": {
26.               "totalCount": "total_count", // 引用所有文档的数量
27.               "filteredCount": "filtered_count" // 引用满足特定条件的文档数量
28.             },
29.             "script": "params.filteredCount / params.totalCount * 100" // 计算百分比
30.           }
31.         }
32.       }
33.     }
34.   }
35. }

复制代码

聚合部分详解

• size: 0：此设置意味着查询不会返回详细的搜索结果，而是仅执行聚合分析。
  
• aggs（聚合）：定义了一个名为 all_documents_agg 的聚合。
  
  
  
  • terms：使用 script 将所有文档强制聚合到一个名为 all_documents 的桶中。
    
  • aggs：在 all_documents 桶内，定义了三个子聚合：
    
    
    • total_count：使用 value_count 统计所有文档的数量，基于文档的 _id 字段。
      
    • filtered_count：使用 value_count 统计满足特定条件的文档数量。条件是字段 my_field 非空且非零。
      
    • percentage_agg：使用 bucket_script 计算满足特定条件的文档数量占总文档数量的百分比。此聚合使用 total_count 和 filtered_count 的结果，并通过 params.filteredCount / params.totalCount * 100 计算百分比。
      
    
    
  
  

Elasticsearch聚合基础知识扩展

Elasticsearch聚合概念

Elasticsearch 的聚合功能类似于 SQL 中的 GROUP BY 语句，允许我们对数据进行分组和计算统计信息。聚合主要分为以下几类：

• Metric Aggregations（度量聚合）：计算数值，例如计数、平均值、最大值、最小值等。例如，value_count 就是一个度量聚合，用于计算特定字段的值的数量。
  
• Bucket Aggregations（桶聚合）：将文档分组到不同的桶中。每个桶都可以包含一个或多个文档。例如，terms 聚合将文档根据特定字段的值进行分组。
  
• Pipeline Aggregations（管道聚合）：对其它聚合的结果进行进一步计算。例如，bucket_script 可以对多个聚合结果进行自定义计算。
  

Script 用法

在 Elasticsearch 中，脚本可以用于在查询和聚合中执行动态计算。在上述查询中，脚本用于两个地方：

• terms 聚合中的 script：将所有文档强制聚合到一个桶中。
  
• filtered_count 的条件判断：检查字段 my_field 是否非空且非零。
  
• bucket_script 聚合：计算满足条件的文档数量占总文档数量的百分比。
  

使用脚本可以提供更大的灵活性，但需要注意性能和安全性题目。
Elasticsearch聚合查询语法

Elasticsearch（ES）提供了丰富的聚合功能，用于对数据进行统计和分析。以下是一些常见的聚合类型及其示例：
指标聚合（Metric Aggregations）

• sum：计算数值字段的总和。
  
• avg：计算数值字段的平均值。
  
• min：查找数值字段的最小值。
  
• max：查找数值字段的最大值。
  
• extended_stats：获取数值字段的多个统计数据（平均值、最大值、最小值、总和、方差等）。
  
• value_count：计算字段的非空值数量。
  

示例：

1. {
2.   "aggs": {
3.     "my_sum_agg": {
4.       "sum": {
5.         "field": "numeric_field"
6.       }
7.     },
8.     "my_avg_agg": {
9.       "avg": {
10.         "field": "numeric_field"
11.       }
12.     }
13.   }
14. }

复制代码

桶聚合（Bucket Aggregations）

• date_histogram：基于时间范围将文档分组为多个桶。
  
• histogram：基于数值字段将文档分组为多个桶。
  
• terms：基于字符串或数值字段将文档分组为多个桶。
  
• filters：将文档分组为多个桶，每个桶对应一组过滤条件。
  

示例：

1. {
2.   "aggs": {
3.     "my_date_histogram_agg": {
4.       "date_histogram": {
5.         "field": "timestamp",
6.         "interval": "1d"
7.       }
8.     },
9.     "my_terms_agg": {
10.       "terms": {
11.         "field": "category_field"
12.       }
13.     }
14.   }
15. }

复制代码

矩阵聚合（Matrix Aggregations）

• matrix_stats：计算多个数值字段的统计数据（如相关性、协方差、方差等）。
  

示例：

1. {
2.   "aggs": {
3.     "my_matrix_stats_agg": {
4.       "matrix_stats": {
5.         "fields": ["numeric_field1", "numeric_field2"]
6.       }
7.     }
8.   }
9. }

复制代码

组合聚合（Pipeline Aggregations）

• derivative：计算聚合结果的导数。
  
• cumulative_sum：计算聚合结果的累积和。
  
• bucket_script：在多个桶聚合结果上执行脚本。
  
• bucket_selector：根据脚本选择或排除特定桶。
  

示例：

1. {
2.   "aggs": {
3.     "my_terms_agg": {
4.       "terms": {
5.         "field": "category_field"
6.       },
7.       "aggs": {
8.         "my_avg_agg": {
9.           "avg": {
10.             "field": "numeric_field"
11.           }
12.         },
13.         "my_bucket_script_agg": {
14.           "bucket_script": {
15.             "buckets_path": {
16.               "avgField": "my_avg_agg"
17.             },
18.             "script": "params.avgField * 2"
19.           }
20.         }
21.       }
22.     }
23.   }
24. }

复制代码

原文地点：Elasticsearch如何聚合查询多个统计值，如何嵌套聚合？并相互引用，统计索引中某一个字段的空值率？语法是怎么样的

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4