当前位置: 首页 > news >正文

flink常用算子整理

文章目录

  • 前言
  • 1.重新分配(即打散)
  • 2.合并流的算子
  • 3.算子链操作
  • 4.侧边输出(目前只有一种)
  • 5.键控进行分区
  • 6.输出算子
  • 7.其他基础操作算子
  • 8.其他常用的算子
  • 9.Flink窗口等情况
  • 10.窗口举例


前言

提示:以下是本篇文章正文内容,下面案例可供参考

1.重新分配(即打散)

在这里插入图片描述

2.合并流的算子

在这里插入图片描述

3.算子链操作

*算子链是指在Flink作业中,将多个算子(如map、filter、reduce等)连接在一起,形成一个链式结构。在分布式执行时,这些算子会被组合到一个任务(Task)中,由同一个线程执行。在flinkUI中展示一个节点(节点内包含许多合并的算子)。
在这里插入图片描述

4.侧边输出(目前只有一种)

1).getSideOutput
作用:getSideOutput 是一种用于获取侧输出(side output)的方法。侧输出允许你在处理过程中生成额外的输出流。
此算子目前已使用:例如上报中就有使用到,当有新的充值数据进来后,会再放一份数据到侧边输出中,方便后面上报处理。

5.键控进行分区

1).keyBy
作用:keyBy 是一种用于对流中的元素进行分区的操作(类似group by)。它根据指定的键将流中的元素划分到不同的逻辑分区中,以便后续的操作可以在每个分区上独立执行。
此算子目前已使用:需要基于某个键进行聚合或处理。目前有使用到,基于项目的键做处理。
2).partitionCustom
作用:允许用户根据自定义的分区策略对数据流进行分区。与 keyBy 不同,partitionCustom 可以让用户自定义控制数据如何分区。

6.输出算子

1).addSink
作用: addSink是一种用于向外部系统

相关文章:

  • PyQt5基本介绍
  • MyBatis 核心类详解与架构解析:从入门到源码级理解
  • Kotlin协程解析
  • 网狐旗舰大联盟组件源码私测笔记:结构分层、UI重构与本地实操全流程
  • RockyLinux9.3-24小时制
  • RabbitMQ 深度解析:从核心组件到复杂应用场景
  • Docker 渡渡鸟镜像同步站 使用教程
  • 【SimSession 】3:中继服务 linux和windows实现及MFC集成实现
  • 【PostgreSQL数据分析实战:从数据清洗到可视化全流程】3.2 缺失值检测与处理(NULL值填充/删除策略)
  • 数理性能大幅提升|暴雨一体机适配DeepSeek Prover v2
  • 在 Ubuntu 系统中,查看已安装程序的方法
  • 广东省考备考(第一天5.4)—言语
  • 【KWDB 创作者计划】_KWDB 性能优化与调优
  • C++负载均衡远程调用学习之上报功能与存储线程池
  • iview table组件 自定义表头
  • 施磊老师rpc(四)
  • ASP.NET MVC​ 入门与提高指南九
  • Java运算符学习笔记
  • 【翻译、转载】【译文】模型上下文协议(Model Context Protocol, MCP)简介
  • 邮件协议、签名与推送
  • 包揽金银!王宗源、郑九源夺得跳水世界杯总决赛男子3米板冠亚军
  • 长三角铁路今日预计发送390万人次,昨日客发量同比增长10.5%
  • 一周文化讲座|那些年的年青人
  • 阿根廷发生5.8级地震
  • 《大风杀》上海首映,白客说拍这戏是从影以来的最大挑战
  • 美商界报告:全美超86万岗位依赖对华出口,关税将重创美国出口商