南宁保洁网站建设百度大数据中心

flink架构介绍

Flink的定义、构成及详细介绍

1. Flink的定义

Apache Flink是一个开源的分布式流处理框架，专为高性能、高可用性和精确的流处理应用而设计。根据官方定义：

Apache Flink是一个框架和分布式处理引擎，用于对有界和无界数据流进行有状态计算。Flink被设计为可在所有常见集群环境中运行，以内存执行速度和任意规模执行计算。

主要特点包括：

• 支持流批一体的统一处理模型
• 提供低延迟（毫秒级）和高吞吐量的流处理能力
• 内置**精确一次(Exactly-Once)**的容错语义
• 支持有状态计算和事件时间处理

2. Flink的核心构成

2.1 主要组件

Flink采用Master-Slave架构，主要包含以下核心组件：

组件	职责	实现方式
Client	提交作业到集群	CLI、REST API、SQL Client等
JobManager	中心协调组件	Standalone/YARN/K8s/Mesos
TaskManager	执行作业的Worker进程	包含多个Task Slot
ResourceManager	管理TaskManager插槽资源	与集群资源管理器交互

2.2 运行时架构

• JobManager：包含三个子组件

  • ResourceManager：管理TaskManager插槽