分区器介绍
1. 分区器的作用
- 数据分发：将 Map 输出的键值对按照一定规则分配到不同的 Reduce 任务中，确保具有相同键（Key）的数据被发送到同一个 Reduce 任务。
- 负载均衡：合理的分区策略可以避免数据倾斜（某些 Reduce 任务处理的数据量过大），提高整体性能。
- 并行计算：通过分区实现数据的并行处理，每个 Reduce 任务可以独立计算，最终汇总结果。
2. 核心接口与默认实现
在 Hadoop 中，分区器通过Partitioner接口实现，核心方法是：
java
public abstract class Partitioner<KEY, VALUE> {public abstract int getPartition(KEY key, VALUE value, int numReduceTasks);
}
- 参数说明：
key：Map 输出的键。value：Map 输出的值。numReduceTasks：Reduce 任务的总数。
- 返回值：一个整数，表示该键值对应该被分配到哪个 Reduce 任务（范围：0 到
numReduceTasks-1）。
默认分区器：HashPartitioner
Hadoop 默认使用HashPartitioner，基于键的哈希值进行分区：
java
public class HashPartitioner<K, V> extends Partitioner<K, V> {public int getPartition(K key, V value, int numReduceTasks) {return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;}
}
- 优点：简单高效，能均匀分布数据。
- 缺点：当键分布不均匀时（如某些键出现频率极高），会导致数据倾斜。
3. 自定义分区器场景
以下情况需要自定义分区器：
- 数据倾斜：某些键的数据量过大，需手动调整分区策略。
- 业务需求：例如按地区、时间范围等维度分组。
- 聚合优化：将相关的键分配到同一个 Reduce 任务，减少网络传输。
4. 自定义分区器示例
假设需要按用户 ID 的首字母分区（A-F、G-M、N-Z）：
java
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;public class CustomPartitioner extends Partitioner<Text, Text> {@Overridepublic int getPartition(Text key, Text value, int numReduceTasks) {// 获取用户ID的首字母char firstChar = key.toString().toUpperCase().charAt(0);// 根据首字母范围分配分区if (firstChar >= 'A' && firstChar <= 'F') {return 0; // 分区0：A-F} else if (firstChar >= 'G' && firstChar <= 'M') {return 1; // 分区1：G-M} else {return 2; // 分区2：N-Z}}
}
在 Driver 中设置自定义分区器
java
job.setPartitionerClass(CustomPartitioner.class);
job.setNumReduceTasks(3); // 对应分区器的3个分区
5. 常见分区策略
| 策略 | 实现方式 | 适用场景 |
|---|---|---|
| 哈希分区 | (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks | 默认策略，适用于键分布均匀的场景 |
| 范围分区 | 将键按范围划分（如日期、数值区间） | 键有序的场景（如时间序列数据） |
| 自定义分区 | 根据业务逻辑（如用户 ID 前缀、地区码） | 需手动控制数据分布的场景 |
| TotalOrderPartitioner | 使用采样器生成键的范围边界，确保 Reduce 输出全局有序 | 需全局排序的场景（如生 |