当前位置: 首页 > news >正文

flink闲谈

flink是一个分布式的处理引擎,因为它要做大数据处理,数据处理肯定是并行的
flink 主要处理的是数据流

在这里插入图片描述

它的处理框架就是有很多实时数据 比如说我们的网站有交易数据,有日志数据 还有点击流
这些数据都是在不停的源源不断的收集 所以我们叫做实时数据,这种情况下,这个数据我们就要不停的读取,随时拉取新的数据过来flink要做的就是从外部把数据读取进来,实时数据读取进来,然后做各种类型的处理比如说事件驱动类型(来一个事件我就给他一个响应)
或者我可以做流水线操作 我昨晚一个操作  我接下来再做下一个操作后续还可以做流数据的分析.或者批处理的分析。一批数据攒齐了之后 我来去分析 到底有什么特征 有什么特点  统计有什么指标
这就是大数据流式处理  这个过程是实时的
每来一个新的数据.理论上我们都可以得到对应响应。因为他是事件驱动。
你来一个新的事件.我这里去做一个响应 最终我可以返回一个结果---->应用程序 做一个响应
也可以重新写入到事件日志中 
另外也可以吧处理的结果写入到 数据库文件系统中
这就是Flink处理的整体流程  
flink在什么场景下使用 只要你的数据是实时的 比如说我们的交易数据 我们很多网站不就是要处理这些交易数据么
或者日志数据进行分析,我们要做实时分析所以 能够应用的行业和应用的场景是很多的
Flink主要就是实时 来了之后 它就可以马上处理  

在这里插入图片描述

flink的应用场景
为什么要使用Flink 数据都是一个一个的来的 来一个处理一个  流处理等待一批次 再去处理--------->  这个叫做批处理 
flink 处理流处理真实场景下 数据是一批一批来的多 还是一个一个像数据流一样来的多
我们仔细想一下 更多的还是流式数据就想vx一样, 我说一句话 发过去 再说一句话 发送这个叫做一条条发送我也可以吧这一段时间要说的话 所有都换行 全编辑好  一次性发过去
我发一条信息  应该是针对于这条信息做一个反馈 --------------->>>>流式数据发消息>>>>>>>>>>>>.处理数据我们真实的数据是流式数据 我处理的时候未必是流处理  
对于真实的流式数据来讲 到底是批处理好还是流处理好从实时性角度来说,聊天必然是实时的聊天
批处理尽管实时性不是很好,但是它从系统设计角度来讲 比较方便  毕竟流式处理对系统压力大  我批处理攒一批再处理但是批处理的问题就是 尽管它简单 但是它慢
##################>>
我们现在有很多场景就是要快 就是要数据来了 及时处理 及时响应
所以我们的目标是低延迟
所以我们要低延迟 也就是说实时效果要好 
###>>> 高吞吐量
很快的处理非常海量的数据 要保证高吞吐
除此之外还要保证结果的正确分布式处理的有一个问题就是  当前处理的顺序有没有办法保证我此时很多个服务器同时处理,数据在网络传输和处理过程中会有差异的  就没有办法保证最初的原始数据

在这里插入图片描述

这有可能保证我最初的结果不正确  
我们怎么能够保证数据是正确的结果是准确的
良好的容错性 如果发生故障 还可以恢复到故障之前的某个状态 然后继续正确的处理
http://www.dtcms.com/a/321348.html

相关文章:

  • 碰一碰NFC开发写好评php语言源码
  • 【接口自动化】-2- request模块及通过变量实现接口关联
  • 技术融合赋能文旅元宇宙:虚实共生重构产业新生态
  • 宝龙地产债务化解解决方案一:基于资产代币化与轻资产转型的战略重构
  • 苹果iPhone 17系列将发售,如何解决部分软件适配问题引发讨论
  • RabbitMQ 如何实现高可用
  • RabbitMQ面试精讲 Day 17:消费者调优与并发消费
  • 《在 Spring Boot 中安全使用 Qwen API-KEY:环境变量替代明文配置的最佳实践》
  • 五十五、【Linux系统nginx服务】nginx安装、用户认证、https实现
  • 若以微服务部署踩坑点
  • Kiro :从“规范”到“实现”的全流程 AI 助手
  • PBootcms网站模板伪静态配置教程
  • 【新启航】旋转治具 VS 手动翻转:三维扫描中自动化定位如何将单件扫描成本压缩 75%
  • 深度学习圈常见的 TensorFlow、PyTorch、Transformer、transformers,到底有什么区别?
  • WEEX参与欧洲两场重要Web3线下活动,助力社区协作与技术交流
  • c++注意点(15)----设计模式(桥接模式与适配器模式)
  • 机器学习 SVM支持向量机
  • LintCode第433题-岛屿的个数
  • 【同余最短路】P2371 [国家集训队] 墨墨的等式|省选-
  • C5.2:如何利用BJT的区域进行稳定工作
  • 冠雅新品 | 以“无形之光”守护双眸,以“无声之智”浸润生活
  • 冷冻食材,鲜美生活的新选择
  • 深入理解OpenGL Shader与GLSL:基础知识与优势分析
  • 深度学习·Cascade-CLIP
  • Linux中的内核同步源码相关总结
  • 安科瑞EMS3.0:打造“零碳工厂”的智能能源神经中枢
  • 在 Mac 上安装 IntelliJ IDEA
  • 艾体宝产品 | 从“被看见”到“被信任”:GWI 协助洞察消费者,重构品牌认知
  • day21|学习前端vue3框架和ts语言
  • 二十八天(数据结构:图的补充)