ZooKeeper 是什么？

ZooKeeper 是一个分布式协调服务，由 Apache 基金会开发，专为分布式系统设计。它提供了高可用、高性能、一致性的核心服务，帮助分布式应用解决诸如配置管理、命名服务、分布式锁、集群协调等问题。

ZooKeeper 的核心特点：

• 简单易用：提供类似文件系统的树形数据结构（ZNode），支持增删改查操作。
• 高可用：通过集群部署（通常 3 或 5 个节点）实现容错，少数节点故障不影响整体服务。
• 一致性：保证分布式环境中数据的强一致性（通过 ZAB 协议实现）。
• 实时性：能在一定时间内（毫秒级）将数据变更同步到所有节点。

ZooKeeper 在 Hadoop 中的作用

Hadoop 是一个分布式系统生态，包含 HDFS、MapReduce、YARN 等组件。ZooKeeper 作为核心协调者，为这些组件提供关键支持，具体作用如下：

1. 对 HDFS 的支持

• NameNode 高可用（HA）
  HDFS 中，NameNode 是管理元数据的核心节点，单点故障会导致整个集群不可用。
  ZooKeeper 用于：

  • 故障检测：通过心跳机制监控 Active NameNode 的状态。
  • 自动故障转移：当 Active NameNode 故障时，ZooKeeper 协调 Standby NameNode 切换为 Active 状态。
  • 分布式锁：确保同一时间只有一个 Active NameNode 对外提供服务（避免 “脑裂” 问题）。

• JournalNode 协调
  在 HDFS HA 架构中，JournalNode 用于同步 NameNode 的元数据 edits 日志。ZooKeeper 负责协调 JournalNode 集群的状态一致性。

2. 对 YARN 的支持

• ResourceManager 高可用（HA）
  YARN 中，ResourceManager 负责集群资源调度和任务管理。ZooKeeper 实现其高可用：

  • 监控 Active ResourceManager 的健康状态。
  • 当 Active 节点故障时，自动将 Standby 节点切换为 Active。
  • 维护 ResourceManager 的状态信息（如应用程序队列、资源分配等）。

• 节点注册与状态管理
  NodeManager（工作节点）启动时会向 ZooKeeper 注册自身信息，ResourceManager 通过 ZooKeeper 感知节点的上下线状态。

3. 对其他 Hadoop 生态组件的支持

• HBase：

  • 存储 RegionServer 的元数据和状态，协调 Region 分区的负载均衡。
  • 实现 HMaster 的高可用（类似 NameNode HA 机制）。

• Kafka：

  • 存储主题（Topic）的元数据、分区副本分布信息。
  • 管理消费者组（Consumer Group）的偏移量（旧版本，新版本已部分迁移至 Kafka 自身）。

• Flume：

  • 协调多个 Agent 节点的配置同步和故障恢复。

4. 通用协调功能

• 配置管理：存储 Hadoop 集群的全局配置（如节点列表、服务端口等），所有节点通过 ZooKeeper 实时获取最新配置。
• 命名服务：为 Hadoop 组件提供统一的命名空间（如通过路径标识 NameNode、ResourceManager 等服务）。
• 分布式锁：解决分布式环境中资源竞争问题（如多个节点同时修改元数据）。

总结

ZooKeeper 是 Hadoop 分布式生态的 “神经中枢”，它通过提供可靠的协调服务，解决了分布式系统中最核心的一致性、高可用和同步问题，确保 HDFS、YARN 等组件能够稳定、高效地协同工作。没有 ZooKeeper，Hadoop 集群的容错能力和扩展性将大幅下降。