当前位置: 首页 > news >正文

第一个Flink 程序:词频统计 WordCount(流处理)

本文重点

本文将通过一个统计词频的小程序来看一下flink是如何对数据进行批处理的,需要声明的是,一般我们使用Flink常常用于流式处理,即使是有界的数据,我们也将其看成是无界数据进行流式处理,所以批量处理并不是很常用,这里只是为了了解一下Flink是如何进行批处理的。

Flink流程序的基本构成

一个 Flink 程序,其实就是对 DataStream 的各种转换。具体来说,代码基本上都由以下几 部分构成:

⚫ 获取执行环境(execution environment

⚫ 读取数据源(source)

⚫ 定义基于数据的转换操作(transformations)

⚫ 定义计算结果的输出位置(sink)

⚫ 触发程序执行(execute)

其中,获取环境和触发执行,都可以认为是针对执行环境的操作。

第一步创建一个flink的maven项目

引入jar包

http://www.dtcms.com/a/268080.html

相关文章:

  • Peek-Ubuntu上Gif录制工具-24.04LTS可装
  • rxcpp--composite_subscription
  • Kotlin lazy 委托的底层实现原理
  • bottles安装网易云出现的问题02任务卡死没法关闭
  • 【AI大模型】Spring AI 基于mysql实现对话持久存储详解
  • QT6 源(157)模型视图架构里的列表窗体视图 QListWidget :属性,成员函数,槽函数与信号函数,以及源代码带注释。
  • 【运算放大器专题】基础篇
  • 11.进程间通信
  • nginx的使用
  • Qt:QPushButton、QRadioButton、QCheckBox
  • 数据结构:数组:反转数组(Reverse the Array)
  • SQL Server从入门到项目实践(超值版)读书笔记 20
  • 二进制安全-汇编语言-02-寄存器
  • CPT208-Human-Centric Computing: Field Study and Analytics实地研究与分析
  • 【网络安全基础】第六章---Web安全需求
  • 小菜狗的云计算之旅,学习了解rsync+sersync实现数据实时同步(详细操作步骤)
  • QML 使用QtObject定义私有变量
  • 基于springboot的社区生鲜团购系统
  • 数据结构---B+树
  • 高效管理UI控件:PyQt5容器控件深度解析
  • 黑马python(二十六)
  • python通过openai接口与配置文件.env使用通义千问API
  • EPLAN 电气制图:建立自己的部件库,添加部件(三)下
  • vue3.4中的v-model的用法~
  • 深度学习 必然用到的 线性代数知识
  • HarmonyOS学习4 --- 创建一个页面
  • 多模态偏好数据集生成与混合偏好优化(MPO)方法
  • 计算机网络1.1:什么是Internet?
  • 自定义指令
  • 一条 SQL 语句的内部执行流程详解(MySQL为例)