当前位置：首页 > news >正文

Spark集群架构解析：核心组件与Standalone、YARN模式深度对比(AM，Container，Driver，Executor)

news 来源：原创 2025/5/25 6:02:53

一、核心组件定义与关系拆解

1. ApplicationMaster（AM）

定义：YARN 框架中的应用管理器，每个应用程序（如 Spark 作业）对应一个 AM。
职责：
- 向 YARN 的 ResourceManager 申请资源（Container）。
- 管理分配到的 Container，启动 Executor 进程。
- 监控任务执行状态，处理失败重试。
与其他组件关系：在 YARN 模式下，AM 是 Spark 与 YARN 的桥梁，不直接参与 Spark 作业逻辑（除了 yarn-cluster 模式下启动 Driver）。

2. Driver

定义：Spark 应用的主控进程，是 Spark 作业的执行入口。
职责：
- 创建 SparkContext，解析用户代码（如 RDD 转换）。
- 将作业分解为 Task，调度到 Executor 执行。
- 监控 Task 进度，收集结果，处理错误。
与其他组件关系：在 Standalone 和 YARN 模式中位置不同（见下文对比），是 Spark 作业的 “大脑”。

3. Executor

定义：运行 Spark 任务的工作进程，每个 Executor 负责执行多个 Task。
职责：
- 维护 Task 执行的线程池，执行 Driver 分配的 Task。
- 缓存 RDD 数据，供 Task 复用。
- 向 Driver 汇报任务状态和结果。
与其他组件关系：依赖 Container 提供的资源运行，受 Driver 调度。

4. Container

定义：YARN 中的资源抽象单位，封装 CPU、内存等资源。
职责：为应用程序组件（如 AM、Executor）提供运行环境。
与其他组件关系：AM 向 YARN 申请 Container 来启动 Executor，Driver 和 Executor 在 Container 中运行（YARN 模式下）。

在 yarn-cluster 模式下：AM、Driver、Executor 各自占用独立的 Container，且 Container 是物理隔离的资源单元（包含实际分配的内存、CPU 等资源），并非逻辑概念。每个 Container 对应一个真实运行的进程容器，由 YARN 的 ResourceManager 按物理资源标准分配。

其实上面这些概念AM，Container都是在Spark on Yarn集群模式下才有的，AM，Container这些概念是Hadoop中的，Spark通过Yarn分配资源，那就一定会存在，Spark Standalone没有，因为它是不依赖于外部框架的，而是用自身提供的

二、Standalone 与 YARN 模式的架构对比

1. Standalone 模式（Spark 原生集群管理器）

架构图：
核心关系：
- Driver：由客户端启动，直接与 Master（集群管理器）和 Worker（工作节点）交互。
- Executor：由 Worker 启动，运行在 Worker 节点上，受 Driver 调度。
- 无 ApplicationMaster：Standalone 是 Spark 自研的资源管理框架，不依赖 YARN，因此没有 AM 组件。
- 资源管理：Master 负责分配 Worker 节点的资源给 Driver，Driver 直接控制 Executor 的启动。

Standalone 模式为什么没有 AM 和 Container？

AM 的替代者：Standalone 模式中，Master 节点承担资源调度角色（类似 YARN 的 ResourceManager），但没有 AM 这个中间层。
资源分配单位差异：
- YARN 用 Container 封装资源；Standalone 直接向 Worker 节点申请 Executor 进程（每个 Executor 对应 Worker 节点的一组 CPU / 内存）。
组件运行方式：
- Driver：由客户端启动，运行在客户端或 Worker 节点（取决于--deploy-mode）。
- Executor：由 Worker 节点直接启动，作为独立进程运行（无 Container 封装）。

Standalone 模式架构流程

Master（总调度）↓
Worker节点1↓
Driver（若deploy-mode=cluster）或Executor1↓
Worker节点2↓
Executor2、Executor3...

2. YARN 模式（Spark 运行在 YARN 集群上）

架构图（以 yarn-cluster 为例）：
核心关系：
- ApplicationMaster：作为 YARN 与 Spark 的中间层，向 ResourceManager 申请 Container 资源，启动 Driver 和 Executor。
- Driver：

在 yarn-cluster 模式下由 AM 启动，运行在 Container 中；

在 yarn-client 模式下由客户端启动，运行在客户端机器。

Executor：运行在 NodeManager 管理的 Container 中，受 Driver 调度。
资源管理：YARN 的 ResourceManager 统一管理集群资源，AM 作为应用代表申请资源，Driver 不直接与 ResourceManager 交互。

(1) yarn-cluster 模式：Container 是 “物理隔离的办公间”

Container 本质：YARN 分配的最小资源单元（内存 / CPU 等），是进程运行的物理容器（类似 Docker 容器）。
组件与 Container 的映射：
- AM：单独占用 1 个 Container（由 ResourceManager 分配），负责启动 Driver 和申请 Executor 资源。
- Driver：由 AM 在另一个 Container 中启动（属于 AM 的子任务）。
- Executor：每个 Executor 占用 1 个 Container，由 AM 向 ResourceManager 申请后启动。
类比场景：
- ResourceManager 是 “房东”，负责分配房间（Container）；
- AM 是 “租客代表”，租到第一个房间后，再替 Driver 和 Executor 租其他房间。

yarn-cluster 模式架构流程

ResourceManager（总房东）↓
AM（租客代表）[Container1]↓
Driver（项目经理）[Container2]↓
Executor1[Container3]、Executor2[Container4]...（工人）

(2) yarn-client 模式：Driver 跳出 Container 的 “例外”

Container 的角色：
- AM 占用 1 个 Container（在集群内），仅负责申请 Executor 的 Container。
- 每个 Executor 占用 1 个 Container（在集群内）。
Driver 的特殊性：
- Driver 在客户端机器（非集群节点）直接运行，不依赖 Container（因为 YARN 无法管理客户端资源）。
- 类比：AM 在集群内租房间给 Executor，但 Driver 在 “集群外的自家房子” 办公，只通过网络指挥集群内的 Executor。

yarn-client 模式架构流程

客户端机器（本地）↓
Driver（项目经理）[非Container]↓
ResourceManager（总房东）↓
AM（租客代表）[Container1]↓
Executor1[Container2]、Executor2[Container3]...（工人）

涉及ResourceManager，NodeManager的，从略微更高的角度，去理解以上他们之间关系，请见文章

YARN与Spark组件架构关系及交互机制：从ResourceManager到Executor的层级、依赖与通信链路解析-CSDN博客

三、两种模式下组件关系的类比理解

1. Standalone 模式：自营小团队

Master：团队领导，分配任务给 Worker（员工）。
Driver：项目经理，直接对接领导，安排具体工作（Task）给员工（Executor）。
Executor：员工，在自己的工位（Worker 节点）上干活，听项目经理指挥。
特点：Spark 自己管资源，简单直接，但扩展性和资源隔离性较差。

2. YARN 模式：外包大公司

YARN ResourceManager：大公司 CEO，掌管所有资源（Container）。
ApplicationMaster：外包项目负责人，向 CEO 申请资源（Container），拿到资源后组建团队。
Driver：项目技术负责人，由外包负责人招聘（启动），负责具体技术方案和任务分配。
Executor：外包员工，在公司分配的工位（Container）上干活，听技术负责人指挥。
特点：YARN 统一管资源，Spark 作为应用运行，适合多应用混部，资源利用率高。

四、关键差异总结表

对比维度	Standalone 模式	YARN 模式
资源管理器	Spark 自研的 Master-Worker 架构	YARN 的 ResourceManager-NodeManager 架构
ApplicationMaster	无，Driver 直接与 Master 交互	有，作为 Spark 应用与 YARN 的中间层
Driver 位置	由客户端启动，运行在客户端或 Worker 节点	yarn-client 在客户端，yarn-cluster 在集群内
Executor 运行环境	直接运行在 Worker 节点上	运行在 YARN 的 Container 中（资源隔离性更好）
适用场景	小规模集群，Spark 单一应用场景	大规模集群，多应用混部（如 Hadoop 生态）

五、一句话理清组件关系

Standalone：Driver（项目经理）直接找 Master（领导）要资源，分配给 Worker 上的 Executor（员工）干活。
YARN：AM（外包负责人）先找 YARN CEO（ResourceManager）要 Container（工位），用 Container 启动 Driver（技术负责人）和 Executor（员工），Driver 再指挥 Executor 干活。