当前位置: 首页 > news >正文

按键分区和非按键分区对窗口计算的影响

本文重点

如果我们要开启窗口计算,需要确定数据流是否按键分区,因为是否对数据流进行按键分区对窗口的计算是存在不同程度的影响的。

区别

按键分区基础上定义窗口

经过按键分区keyBy操作后,DataStream会转换为KeyedStream。此时数据流会按照key被分为多条逻辑流(N个key就会有N个逻辑流),如果此时下游有多个子任务,可以并行执行。此时进行窗口操作时,每个逻辑流上都定义了一组窗口,各自独立地进行统计计算,不同key之间相互隔离不受影响。

API:

stram.keyBy().window()

非按键分区基础上定义窗口

如果没有进行 keyBy分区,那么就相当于直接在DataStream 调用.windowAll()定义窗口。

此时没有进行分区,就不会有多个逻辑流,窗口只会在一条流上进行计算,就相当于并行度变成了1,此时计算手动调大窗口算子的并行度也是无效的, windowAll 本身就是一个非并行的操作,所以在实际应用中一般不推荐使用这种方式。

API:

stream.windowAll(...)


文章转载自:

http://U1z9kW4d.zdzgf.cn
http://Kf7myjlY.zdzgf.cn
http://5KsA5tyQ.zdzgf.cn
http://I2Bu093v.zdzgf.cn
http://aHmuuzSb.zdzgf.cn
http://WBBR21s6.zdzgf.cn
http://67rWpi5S.zdzgf.cn
http://hginsBgj.zdzgf.cn
http://ErmPwh5y.zdzgf.cn
http://Z75FV8X5.zdzgf.cn
http://uQEfsTAA.zdzgf.cn
http://7hYH3tbF.zdzgf.cn
http://g8iheNNF.zdzgf.cn
http://VGBgtF1A.zdzgf.cn
http://8gcUpOWt.zdzgf.cn
http://EkSd4OPa.zdzgf.cn
http://fzo55RhH.zdzgf.cn
http://VP74C6uu.zdzgf.cn
http://shcZKrAw.zdzgf.cn
http://vtJxOpjj.zdzgf.cn
http://mCsZbWzo.zdzgf.cn
http://h9Vwq24C.zdzgf.cn
http://iz99FFwZ.zdzgf.cn
http://MLUEEzNt.zdzgf.cn
http://bOTWJrXc.zdzgf.cn
http://fZE1wnis.zdzgf.cn
http://4cmjYAwe.zdzgf.cn
http://bLCldtTy.zdzgf.cn
http://hgQ1Oo2f.zdzgf.cn
http://0k7cLx2K.zdzgf.cn
http://www.dtcms.com/a/387737.html

相关文章:

  • 2020年下半年 系统架构设计师 综合知识
  • 传感器与传感网 | 第一章:传感器与感知技术
  • 在Jupyter Notebook里面渲染pyecharts无法显示
  • 在 React 项目里下载 CSV 文件常见的两种方式
  • 【脑电分析系列】第15篇:脑电功能连接性与脑网络分析(二):Granger因果性、图论指标与复杂网络构建
  • SpringMVC 系列博客(一):基础概念与注解开发入门
  • AI+Playwright+Pytest 自动化测试方案:优势、劣势与实战融合
  • docker启动Nginx并配置SSL自动续期.md
  • OpenStack 学习笔记(三):存储与计算核心组件管理实践
  • Linux文件IO与文件系统深度解析:从系统调用到文件系统原理
  • 如何在 2025 年绕过 Cloudflare 人工检查?
  • 【pycharm】index-tts2:之三 :ubuntu24.04 体验tts demo
  • vivado中DDR4 仿真模型的获取
  • 《RocketMQ 2025 实战指南:从消息丢失 / 重复消费 / 顺序消费到事务消息,一篇搞定生产级问题(附完整代码)》
  • 十二、vue3后台项目系列——设置路由守卫,获取角色权限,获取角色路由列表、页面请求进度条
  • 6个AI论文网站排行,实测
  • Dioxus基础介绍和创建组件
  • 基于粒子群算法的山地环境无人机最短路径规划研究(含危险区域约束的三维优化方法)
  • ardupilot开发 --- 无人机数学模型与控制律分解 篇
  • 海外代理IP服务器平台测评,Tik Tok多账号运营稳定IP服务支持
  • 【面板数据】省及地级市农业新质生产力数据集(2002-2025年)
  • Linux的常用命令总结
  • Egg.js:企业级 Node.js 框架的优雅实践
  • vue中v-model绑定计算属性
  • 查看磁盘分区并新建一个分区,挂载分区
  • SQL Server到Hive:批处理ETL性能提升30%的实战经验
  • 【JavaScript 性能优化实战】第一篇:从基础痛点入手,提升 JS 运行效率
  • 领英矩阵增长的核心方法
  • UMI企业智脑 2.1.0:智能营销新引擎,图文矩阵引领内容创作新潮流
  • 测试你的 Next.-js 应用:Jest 和 React Testing Library