Flink原理与实战(java版)#第2章 Flink的入门(第七节Flink的第一个流式计算示例和第八节本章小结)
电子书 Flink原理与实战(java版)专栏文章入口:电子书 Flink原理与实战(java版)- 目录结构
本章分为如下几篇:
第2章 Flink的入门(整章)
Flink原理与实战(java版)#第2章 Flink的入门(第一节大数据架构的演变)
Flink原理与实战(java版)#第2章 Flink的入门(第二节Flink简介)
Flink原理与实战(java版)#第2章 Flink的入门(第三节Flink应用场景和第四节Flink的主要组件)
Flink原理与实战(java版)#第2章 Flink的入门(第五节Flink部署与验证(一))
Flink原理与实战(java版)#第2章 Flink的入门(第五节Flink部署与验证(二))
Flink原理与实战(java版)#第2章 Flink的入门(第六节Flink编程模型)
Flink原理与实战(java版)#第2章 Flink的入门(第七节Flink的第一个流式计算示例和第八节本章小结)
文章目录
-
- 2.7 Flink的第一个流式计算示例
-
- 2.7.1 代码依赖与源代码
- 2.7.2 IDE运行程序及验证
- 2.7.3 提交任务至Flink集群运行
- 2.8 本章小结
2.7 Flink的第一个流式计算示例
本节介绍Flink的开发环境准备以及将本地开发的程序分别在本地运行与提交到已经部署好的Flink集群上运行,以统计流式数据的词频统计为示例进行讲解Flink的基本用法。
本书中所有的示例均只说明运行示例需要的环境,即示例的maven依赖、测试数据源、源代码、验证过程和结果等内容,一些基础的内容不再赘述,假设本书读者已经具备相关的基础。本书的所有示例使用的都是maven,作者使用的maven版本是3.8.4。同时为了节省篇幅,后面的示例中除非有特殊需要(比如讲解使用该功能需要增加哪些maven依赖外),其他的示例不再列出所需要的依赖(也不再说明其相关的内容)。一般的maven依赖的原则就是本书第一个入门示例的maven依赖为基础,在引入新的组件的时候添加相应的maven依赖即可,比如需要使用Table API,则需要引入Table API相对应的依赖。
2.7.1 代码依赖与源代码
本示例功能是模拟按行读取单词,其中单词是通过“ ,”进行分割的,分割后将每个单词计数为1,然后根据单词进行分组,最后根据单词分组进行求和。
Maven依赖参考本书的第一章的入门示例即可。示例代码如下。
import org.apache