当前位置：首页 > news >正文

elastic search 是如何做sum操作的

news 2025/9/10 6:43:14

简单来说，Elasticsearch SQL 的 SUM操作是通过将其翻译（编译）成 Elasticsearch 原生的聚合查询来实现的，具体来说是 sum度量聚合（Metric Aggregation）。

以下是详细的实现步骤和原理：

1. 架构概览：SQL 到 Elasticsearch DSL 的翻译

Elasticsearch 的 SQL 功能本质上是一个翻译层。它本身不直接执行 SQL 查询，而是做了以下工作：

1.
解析 (Parse)：将标准的 SQL 语句解析成抽象语法树 (AST)。
2.
翻译 (Translate)：将 AST 转换为等价的 Elasticsearch 原生 JSON 查询（即 Query DSL）。
3.
执行 (Execute)：将翻译好的 DSL 请求发送给 Elasticsearch 集群处理。
4.
格式化 (Format)：将 Elasticsearch 返回的 JSON 结果转换成 SQL 客户端期望的表格形式。

你的 SUM操作主要发生在第 2 步和第 3 步。

2. SUM 操作的具体翻译过程

我们通过一个例子来看。假设你执行以下 SQL 查询：

SELECT SUM(price) FROM products;

Elasticsearch SQL 层会将其翻译为如下所示的 Elasticsearch 查询 DSL：

{ "size": 0, // 不需要返回任何原始文档（hits），只需要聚合结果 "aggs": { "SUM(price)": { // 聚合结果的名称直接来自 SQL 表达式 "sum": { "field": "price" // 对 price 字段进行求和 } } } }

如果带有分组呢？ 再看一个更复杂的例子：

SELECT category, SUM(price) FROM products GROUP BY category;

这条 SQL 会被翻译为：

{ "size": 0, "aggs": { "groupby": { // 先进行分组聚合（桶聚合） "terms": { "field": "category", // 分组字段 "size": 10 // 默认返回前10个桶（分组）的结果 }, "aggs": { // 在每个分组桶内，进行子聚合 "SUM(price)": { "sum": { "field": "price" } } } } } }

这个过程清晰地展示了：∙

SELECT SUM(...)-> "sum": { "field": ... }(度量聚合)∙

GROUP BY-> "terms": { "field": ... }(桶聚合)

3. 分布式执行：如何在集群中计算

这才是 Elasticsearch 强大之处。翻译后的 DSL 被发送到协调节点（Coordinating Node），其执行流程如下：

1.
分发阶段：协调节点将查询分发到所有相关的数据分片（Shards）。
2.
分片本地计算： 每个分片独立地在自己的数据子集上执行相同的聚合操作（即计算本分片内所有文档的 price之和）。这是一个巨大的性能优势，因为计算是并行且分布式的，避免了传输所有原始数据。
3.
结果汇总：每个分片将其本地计算出的 sum值返回给协调节点。
4.
全局reduce：协调节点收集所有分片的局部 sum值，将它们简单相加，得到全局总和。
5.
返回结果：协调节点将最终的总和返回给 SQL 层，SQL 层再将其格式化成 SQL 结果返回给用户。

对于分组求和 (GROUP BY)，过程类似：

∙
每个分片计算自己数据里每个 category的局部 sum(price)。
∙
协调节点合并所有分片的结果：将相同 category的局部 sum值相加，得到每个 category的全局 sum。

4. 关键技术点与优化

∙
使用 doc_values：为了高效聚合，Elasticsearch 强烈依赖倒排索引和 doc_values。doc_values是一种列式存储结构，对于 price这样的数值字段，启用 doc_values（默认通常为开启）后，Elasticsearch 可以非常快速地在磁盘上遍历和累加所有值，而不需要加载整个原始文档。这是聚合性能高的根本原因。∙
近似算法（用于海量数据）：对于 COUNT(DISTINCT)这种操作，Elasticsearch 默认使用 HyperLogLog++ 算法来提供近似值，以极低的内存消耗换取极快的速度和可扩展性。但需要注意的是，SUM操作是精确的，不是近似值。∙
缓存：聚合结果可能会被缓存（分片请求缓存），以加速后续相同的查询。