当前位置: 首页 > news >正文

flink常用算子整理

文章目录

  • 前言
  • 1.重新分配(即打散)
  • 2.合并流的算子
  • 3.算子链操作
  • 4.侧边输出(目前只有一种)
  • 5.键控进行分区
  • 6.输出算子
  • 7.其他基础操作算子
  • 8.其他常用的算子
  • 9.Flink窗口等情况
  • 10.窗口举例


前言

提示:以下是本篇文章正文内容,下面案例可供参考

1.重新分配(即打散)

在这里插入图片描述

2.合并流的算子

在这里插入图片描述

3.算子链操作

*算子链是指在Flink作业中,将多个算子(如map、filter、reduce等)连接在一起,形成一个链式结构。在分布式执行时,这些算子会被组合到一个任务(Task)中,由同一个线程执行。在flinkUI中展示一个节点(节点内包含许多合并的算子)。
在这里插入图片描述

4.侧边输出(目前只有一种)

1).getSideOutput
作用:getSideOutput 是一种用于获取侧输出(side output)的方法。侧输出允许你在处理过程中生成额外的输出流。
此算子目前已使用:例如上报中就有使用到,当有新的充值数据进来后,会再放一份数据到侧边输出中,方便后面上报处理。

5.键控进行分区

1).keyBy
作用:keyBy 是一种用于对流中的元素进行分区的操作(类似group by)。它根据指定的键将流中的元素划分到不同的逻辑分区中,以便后续的操作可以在每个分区上独立执行。
此算子目前已使用:需要基于某个键进行聚合或处理。目前有使用到,基于项目的键做处理。
2).partitionCustom
作用:允许用户根据自定义的分区策略对数据流进行分区。与 keyBy 不同,partitionCustom 可以让用户自定义控制数据如何分区。

6.输出算子

1).addSink
作用: addSink是一种用于向外部系统

http://www.dtcms.com/a/170831.html

相关文章:

  • PyQt5基本介绍
  • MyBatis 核心类详解与架构解析:从入门到源码级理解
  • Kotlin协程解析
  • 网狐旗舰大联盟组件源码私测笔记:结构分层、UI重构与本地实操全流程
  • RockyLinux9.3-24小时制
  • RabbitMQ 深度解析:从核心组件到复杂应用场景
  • Docker 渡渡鸟镜像同步站 使用教程
  • 【SimSession 】3:中继服务 linux和windows实现及MFC集成实现
  • 【PostgreSQL数据分析实战:从数据清洗到可视化全流程】3.2 缺失值检测与处理(NULL值填充/删除策略)
  • 数理性能大幅提升|暴雨一体机适配DeepSeek Prover v2
  • 在 Ubuntu 系统中,查看已安装程序的方法
  • 广东省考备考(第一天5.4)—言语
  • 【KWDB 创作者计划】_KWDB 性能优化与调优
  • C++负载均衡远程调用学习之上报功能与存储线程池
  • iview table组件 自定义表头
  • 施磊老师rpc(四)
  • ASP.NET MVC​ 入门与提高指南九
  • Java运算符学习笔记
  • 【翻译、转载】【译文】模型上下文协议(Model Context Protocol, MCP)简介
  • 邮件协议、签名与推送
  • C++23 新特性:为 std::pair 的转发构造函数添加默认实参
  • 《前端秘籍:SCSS阴影效果全兼容指南》
  • drawDB:打造高效数据库设计流程
  • 仓颉编程语言快速入门:从零开始构建你的第一个程序
  • BC19 反向输出一个四位数
  • Runnable 组件生命周期监听器与使用场景
  • 【人工智能】人形机器人与低空经济协同发展分析
  • window-docker的容器使用宿主机音频设备
  • 【51单片机2个定时器2个外部中断设置】2022-5-11
  • maven坐标导入jar包时剔除不需要的内容