Hive根据输入数据量计算reducer的数量，这个输入数据量是map阶段的输出结果还是客户端提交任务时的数据量？
在 Hive 中，Reducer 数量的自动计算是基于客户端提交任务时的原始输入数据量估算的，而非 Map 阶段的输出结果。具体规则和流程如下：
1. 核心逻辑
-
计算时机：
Reducer 数量在**作业提交阶段（客户端）**确定，此时 Map 阶段尚未执行，因此只能基于原始输入数据的元信息（如文件大小、表统计信息）进行估算。 -
依赖数据量：
Hive 使用输入表的原始数据量（存储在 HDFS 上的文件总大小）来估算 Reducer 数量，公式为：numReducers = min(ceil(原始输入数据总大小 / bytes.per.reducer), reducers.max)bytes.per.reducer：由hive.exec.reducers.bytes.per.reducer定义（默认 256MB）；reducers.max：由hive.exec.reducers.max定义（默认 1009）。
2. 潜在问题与优化
(1) 估算误差
- 场景：
Map 阶段可能过滤大量数据或进行聚合（如WHERE过滤、Combiner 预聚合），导致实际输出数据量远小于原始输入。 - 后果：
Reducer 数量可能被高估，生成过多小文件或资源浪费。
(2) 优化方法
- 手动指定 Reducer 数：
根据经验或历史作业结果，直接设置mapred.reduce.tasks：SET mapred.reduce.tasks = 20; -- 显式指定 Reduce 任务数 - 动态调整参数：
增大bytes.per.reducer或降低reducers.max，减少自动估算的任务数：SET hive.exec.reducers.bytes.per.reducer = 536870912; -- 512MB/Reducer SET hive.exec.reducers.max = 500; -- 最大 500 个 Reducer - 收集统计信息：
使用ANALYZE TABLE生成表统计信息（如行数、数据量），Hive 可基于更精确的元数据估算：ANALYZE TABLE table_name COMPUTE STATISTICS; -- 收集表级统计信息 ANALYZE TABLE table_name COMPUTE STATISTICS FOR COLUMNS; -- 收集列级统计信息
3. 执行引擎的影响
-
MapReduce 引擎：
Reducer 数量在作业提交时确定，无法根据 Map 阶段的实际输出动态调整。 -
Tez 引擎：
支持动态调整 Reducer 数量（需开启hive.tez.auto.reducer.parallelism=true），根据 Map 阶段输出量优化并行度。
4. 示例场景
(1) 原始输入数据量为 10GB
- 自动计算：
numReducers = ceil(10*1024MB / 256MB) = 40（假设reducers.max足够大）。 - 实际 Map 输出为 2GB：
每个 Reducer 仅处理约 51MB（2GB/40），远低于bytes.per.reducer，导致资源浪费。
(2) 优化后
- 手动设置：
SET mapred.reduce.tasks = 8;→ 每个 Reducer 处理约 256MB（2GB/8）。
总结
| 关键点 | 说明 |
|---|---|
| 计算依据 | 客户端提交时的原始输入数据量（HDFS 文件大小），而非 Map 阶段实际输出。 |
| 误差风险 | Map 阶段过滤或聚合可能导致 Reducer 数量不合理，需手动干预。 |
| 优化策略 | 手动指定 Reducer 数、调整参数、收集统计信息或使用 Tez 引擎动态优化。 |
| 执行引擎差异 | MapReduce 静态分配，Tez 支持动态调整。 |
建议：
- 对数据过滤率高的作业，手动指定 Reducer 数量；
- 定期收集统计信息，提升 Hive 估算精度；
- 使用 Tez 引擎以支持动态资源分配。