当前位置: 首页 > news >正文

Flink运行时架构

一、系统架构

1.1 SMP架构

数据处理系统的架构最简单的实现方式就是单节点,但是随着数据量的增大,为了使单节点的机器性能更加强大,需要增加CPU数量和加大内存来提高吞吐量。这就是所谓的SMP(Symmetrical Multi Processing,对称多处理)架构。

但是这种架构带来的问题也很明显,不仅所有CPU是完全平等且共享内存和总线资源的,会带来资源竞争。而且随着CPU数量的增加,机器成本会呈指数级增长。因此,SMP的可扩展性是比较差的,无法应对海量数据的处理场景。

1.2 分布式架构

基于SMP的局限,提出了不共享任何东西(share-nothing)的分布式架构,比如从 MPP(Massively Parallel Processing,大规模并行处理)架构,到以Hadoop、Spark为代表的批处理,再到以Flink为代表的流处理架构,都是以分布式作为系统架构的基本形态。Flink是一个分布式的并行流处理系统,由多个进程构成,这些进程一般会分布运行在不同的机器上。

对于分布式系统的管理,有很多棘手的问题。比如集群中资源的分配和管理、进程协调调度、持久化和高可用的数据存储、以及故障恢复等。不过,对于分布式系统中这些典型问题,业内已经有比较成熟的解决方案和服务了。

因此,Flink在设计中并不会去处理这些通用问题,而是利用现有的集群架构和服务。比如,在集群资源管理方面,会与现有Yarn、K8s、Mesos等工具集成;在分布式存储方面,会直接利用现有的HDFS、S3等分布式文件系统;在高可用配置方面,会依赖ZooKeeper来完成。

通过以上方式,Flink就可以把精力集中在核心工作上了,也就是分布式数据流处理。接下来,我们讲一下Flink是如何具体实现分布式流处理的,它有哪些组件构成。

二、核心组件

在Flink的运行架构中,有两大比较重要的组件:作业管理器(JobManager)和任务管理器(TaskManager)。
Flink的作业提交与任务处理时的系统如下图所示。

其中,客户端并不是处理系统的一部分,只是负责作业提交

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.dtcms.com/a/135992.html

相关文章:

  • Vue3 nextTick
  • 基于sherpa-onnx 安卓语音识别尝鲜
  • 与AI深度融合的Go开发框架sponge,解决使用cursor、trae等AI辅助编程工具开发项目时的部分痛点
  • n8n 为技术团队打造的安全工作流自动化平台
  • 优化 Dockerfile 性能之实践(Practice of Optimizing Dockerfile Performance)
  • 【场景应用9】多语言预训练语音模型进行自动语音识别
  • 基于骨骼识别的危险动作报警分析系统
  • 基于uniapp的鸿蒙APP大数据量性能优化
  • 招贤纳士|Walrus 亚太地区招聘高级开发者关系工程师
  • 量化视角:比特币美债黄金三角博弈的DeepSeek推演
  • 1.2 使用RawInputSharp来取得键盘硬件信息以及虚拟码
  • Being-0:具有视觉-语言模型和模块化技能的人形机器人智体
  • QT —— 信号和槽(槽函数)
  • 【1】CICD持续集成-docker本地搭建gitlab代码仓库社区版
  • 用cursor三个小时复刻高德地图的足迹地图
  • 突发重磅消息!!!CVE项目将被取消?
  • MySQL的MVCC机制详解
  • SQL刷题日志(day2)
  • 【AI】IDEA 集成 AI 工具的背景与意义
  • 一个基于Django的写字楼管理系统实现方案
  • C/C++---头文件保护机制
  • Spring Boot整合Kafka的详细步骤
  • 局域网内Docker镜像共享方法
  • 【李宏毅深度学习——分类模型的PyTorch架构】Homework 2:Phoneme Classification
  • Docker镜像迁移指南:从Windows构建到Ubuntu运行
  • halcon模板匹配(五)find_shape_model_clutter
  • Jetpack Compose 跨组件通信:全面指南与最佳实践
  • 数据库勒索病毒威胁升级:企业数据安全防线如何用安当RDM组件重构
  • 光刻机研发与市场现状分析报告
  • 关于k8s的部署