Flink SlotSharingGroup 机制详解
1、静态slot分配流程
-
客户端提交作业：客户端将JobGraph提交给JobManager，JobGraph包含了作业的逻辑数据流和算子信息。
-
生成ExecutionGraph：JobManager将JobGraph转换为ExecutionGraph，这是一个并行化的执行计划，包含了所有执行顶点（ExecutionVertex）和边。
-
申请slot资源：JobManager中的调度器向ResourceManager申请slot资源。
-
分配静态slot：ResourceManager检查当前可用的TaskManager slot，如果资源足够，就将slot分配给JobManager。
-
部署任务：JobManager将任务部署到分配到的slot中执行。
2、动态slot分配流程
动态slot分配的核心是为每个SlotSharingGroup单独定义资源需求，Flink会根据这些需求动态申请匹配的slot资源。
- 资源需求生成：JobManager分析JobGraph中每个SlotSharing组的资源需求（包括CPU、堆内存、托管内存、扩展资源等）。
- 资源声明：Scheduler将SlotRequest进行聚合，生成ResourceRequirement并发送给ResourceManager。
- 资源匹配：ResourceManager检查集群中的可用资源，尝试找到匹配的TaskManager slot。
- 动态资源申请：如果现有资源不足，ResourceManager通过资源提供商（如YARN、Kubernetes）申请新的TaskManager。
- slot分配：ResourceManager将匹配的slot提供给JobManager。
- 任务部署：JobManager将任务部署到获得的slot中。
1、作用
基于FLIP-56（Dynamic Slot Allocation）实现，核心思想是按需申请不同规格的slot，最大化资源利用效率
2、case
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();SlotSharingGroup ssgA = SlotSharingGroup.newBuilder("a").setCpuCores(1.0).setTaskHeapMemoryMB(100).build();SlotSharingGroup ssgB = SlotSharingGroup.newBuilder("b").setCpuCores(0.5).setTaskHeapMemoryMB(100).build();someStream.filter(...).slotSharingGroup("a") // Set the slot sharing group with name “a”
.map(...).slotSharingGroup(ssgB); // Directly set the slot sharing group with name and resource.env.registerSlotSharingGroup(ssgA);
3、核心实现
- JobMaster/DefaultScheduler（资源使用者）：
负责生成 ExecutionGraph、计划 ExecutionVertex 的部署，向 SlotPool 发起分配请求；当使用完成后释放 slot。 - SlotPool（Job 级别 slot 池）：
维护 Job 可用/已分配的物理/逻辑 slot 视图；若本地池不满足，会向 ResourceManager 的 SlotManager 请求已有 TaskExecutor 的空闲 slot（静态模式下仅在集群既有 TM 范围内调度）。 - ResourceManager/SlotManager（集群级 slot 目录）：
聚合所有 TaskExecutor 的 slot 状态，处理 JobMaster 的请求，向目标 TaskExecutor 下发分配指令。静态模式下不会再去底层系统（YARN/K8s）扩容。 - TaskExecutor（资源提供者）：
通过 SlotTable 维护本机 slot，响应 ResourceManager 的分配请求，最终以 offerSlot 的方式把已分配 slot 提供给 JobMaster 绑定并部署 Task。 - SimpleExecutionSlotAllocator/SlotSharingExecutionSlotAllocator（共享策略）：
在同一 TM slot 上复用多个同 Job 的 subtasks；控制 slot 树与 Co-location、ResourceProfile 匹配与约束。
