当前位置: 首页 > news >正文

FLINK:水位线的介绍

本文重点

在前面的一节课程中我们学习了时间语义,其中有一个关键问题:

分布式的Flink如何保证时间的统一?

系统时间肯定是无法保证的,一定会有偏差,此时Flink引入了水位线的概念,水位线类似于一个逻辑时间,它依赖流中数据的事件事件来推动,从而保证分布式中每个节点都可以保证事件的统一,本文对此进行学习。

节点的时间

假设:单任务执行。数据都是顺序到达的,就是说时间1产生的数据一定比时间2到达的节点早,这是一种非常理想的情况。

在前面窗口课程中,我们介绍了一个温度传感器的例子。那么窗口是如何来进行时间计算的呢?换句话来说,flink怎么知道窗口[0,10)结束了,是时候开启下面一个窗口[10,20)?

总不能是设定一个开始值,然后各个节点的系统时间开始计时,10分钟后就关闭[0,10),然后开启[10,20)?

此时会有两个问题,一个是分布式节点之间如何校时?另一个是数据由于网络传输慢导致错过窗口的问题?

Flink此时根据数据的事件时间来计算当前时间,而不是系统的节点时间,举例来说:

当数据1到达的时候,Flink设定当前的时间为1。

当数据9到达的时候,Flink设定当前的时间为9。

当数据10到达的时候,Flink设


文章转载自:

http://tYfPbHZG.bxsgL.cn
http://K3bxNsmM.bxsgL.cn
http://EwZW7U0L.bxsgL.cn
http://xRGF7kaB.bxsgL.cn
http://fKj6E1Q0.bxsgL.cn
http://udbrcSqe.bxsgL.cn
http://0q03cP26.bxsgL.cn
http://KYuOsZeN.bxsgL.cn
http://wHZYaP6f.bxsgL.cn
http://bEdIkPCa.bxsgL.cn
http://6V4kujF5.bxsgL.cn
http://RYPMIKGh.bxsgL.cn
http://zSP3DLb2.bxsgL.cn
http://o2GQ7cPw.bxsgL.cn
http://YOYZCEcG.bxsgL.cn
http://QUI8cjbX.bxsgL.cn
http://dx7XaS0k.bxsgL.cn
http://cOfBJGaz.bxsgL.cn
http://0gHpxh08.bxsgL.cn
http://KLNbKehW.bxsgL.cn
http://kBsrhmq5.bxsgL.cn
http://17YNi8HW.bxsgL.cn
http://W32NIb0i.bxsgL.cn
http://ipi827Fl.bxsgL.cn
http://eUNpGVvZ.bxsgL.cn
http://64HQ3DUZ.bxsgL.cn
http://TGImtIRM.bxsgL.cn
http://6q0Z3rDb.bxsgL.cn
http://mP6yWxSy.bxsgL.cn
http://l4zCMxkm.bxsgL.cn
http://www.dtcms.com/a/371878.html

相关文章:

  • MySQL高级功能:窗口函数
  • 换手率及使用Python获取换手率数据
  • 炉米Lumi:字节跳动推出的AI图像模型分享社区
  • 计算机网络学习(六、应用层)
  • JavaSE 数组从入门到面试全解析
  • 游戏中的设计模式——第二篇 单例模式
  • 【论文阅读】自我进化的AI智能体综述
  • 系统分析师考试备考全面解析
  • 现代C++:C++和现代C++
  • 开始 ComfyUI 的 AI 绘图之旅-图生图之局部重绘(三)
  • 函数合集(1)
  • MySQL高可用方案解析:从复制到云原生
  • Python自学12 — 函数和模块
  • 腾讯云TDSQL-C 与传统MySQL对比
  • docker build命令及参数介绍
  • 老题新解|同行列对角线的格
  • RabbitMQ之死信队列
  • Java面试整理归纳——每日更新
  • Vue2基础概念与指令
  • Android 热点开发的相关api总结
  • 第二章 Python开发环境搭建与工具配置(二)
  • SylixOS 调度浅析
  • 1.TCP/IP模型:各层协议(重点TCP/UDP)
  • 消息推送的三种常见方式:轮询、SSE、WebSocket
  • 【设计模式】 原型模式
  • Apache EnumUtils枚举工具类
  • pycharm如何设置对应的python解释器
  • C++逆向输出一个字符串(三)
  • ZYNQ 定时器
  • Java反射与动态代理学习笔记