当前位置: 首页 > news >正文

Flink作业执行的第一步:DataFlow graph的构建

本文重点

在前面的课程中,我们学习了算子的概念,我们可以将Flink程序简单的理解为算子的逻辑组合,数据在一系列算子操作中流动,最终完成数据的处理。在运行的时候,客户端会将所有的算子按照逻辑顺序连接起来构成一张图,这张图就叫做“逻辑数据流”(logical dataflow),或者叫“数据流图”(DataFlow graph)。

DataFlow graph 

DataFlow graph的构建是Flink作业执行的第一步,它是在Flink程序被提交到Flink集群之前完成的。

Flink中的DataFlow graph是指Flink程序的执行计划,它描述了Flink作业中的数据流以及数据流之间的转换和操作。DataFlow graph是Flink作业的逻辑表示,通过它可以清晰地了解Flink程序的数据流动和处理逻辑。

在Flink中,DataFlow graph(数据流图)是一个表示Flink程序执行流程的有向无环图(DAG)。它由一组连接的算子(operators)和数据流边(stream edges)组成。DataFlow graph描述了Flink程序中的数据流,其中每个算子代表一个数据转换操作,算子之间的数据流边表示数据在算子之间的传递。

在DataFlow graph中,以一个或多个源(source)开始,并以一个或多个汇(sink)结束。在数据源算子和输出算子之间还可以包含一些特殊的算子,比如转换算子用

http://www.dtcms.com/a/335494.html

相关文章:

  • 一周学会Matplotlib3 Python 数据可视化-多子图及布局实现
  • 【传奇开心果系列】Flet框架实现的家庭记账本示例自定义模板
  • Python可视化工具-Bokeh:动态显示数据
  • 【Golang】:错误处理
  • 10 SQL进阶-SQL优化(8.15)
  • 【Luogu】每日一题——Day21. P3556 [POI 2013] MOR-Tales of seafaring (图论)
  • 中国大学MOOC--C语言程序设计第十周字符串(下)
  • openEuler等Linux系统中如何复制移动硬盘的数据
  • HTTPS 配置与动态 Web 内容部署指南
  • Hadoop入门
  • SpringCloud 06 服务容错 Sentinel
  • NY270NY273美光固态闪存NY277NY287
  • 黎阳之光:以动态感知与 AI 深度赋能,引领电力智慧化转型新革命
  • mysql||事务相关知识
  • nertctl使用了解
  • Node.js导入MongoDB具体操作
  • IoT/HCIP实验-5/基于WIFI的智慧农业实验(LwM2M/CoAP+PSK+ESP8266 连接到 IoTDA)
  • python study notes[4]
  • Vue深入组件:Props 详解3
  • 【adb端口5555】烽火hg680-gy_烽火hg680-gc安卓9线刷烧录包 解决用一段时间就提示升级的问题
  • 回溯剪枝的 “减法艺术”:化解超时危机的 “救命稻草”(一)
  • 如何在 Ubuntu 24.04、22.04 或 20.04 Linux 中更改计算机名称
  • 智能化管理:开启海洋牧场新时代
  • 字节 Golang 大模型应用开发框架 Eino简介
  • Vue深入组件:Props 详解2
  • es7.17.x es服务yellow状态的排查查看节点,分片状态数量
  • 42 C++ STL模板库11-容器4-forward_list
  • C++算法竞赛:位运算
  • 线程(基本概念和相关命令)
  • CT01-反转链表(Java)