当前位置: 首页 > news >正文

Spark内存迭代计算

一、宽窄依赖

窄依赖:父RDD的一个分区数据全部发往子RDD的一个分区

宽依赖:父RDD的一个分区数据发往子RDD的多个分区,也称为shuffle

二、Spark是如何进行内存计算的?DAG的作用?Stage阶段划分的作用?

(1)Spark生成DAG图

(2)基于宽窄依赖对DAG图进行阶段划分

(3)每个stage内部都是窄依赖,窄依赖内,前后形成1:1的分区关系,一个stage的多个并行任务就成为了多个内存迭代计算管道

(4)这些内存迭代计算的管道,就是一个个具体的执行Task

(5)一个Task是一个具体的线程,任务跑在一个线程之中,就是走内存计算了。

http://www.dtcms.com/a/40046.html

相关文章:

  • .Net 9下使用Tensorflow.net---DNN_Eager
  • RabbitMQ死信队列
  • 「云原生」「云原生应用的构建与部署」
  • 阻抗和电阻
  • Linux提权之docker提权(十三) 链接第八篇完整版
  • 如何在docker上部署java服务
  • 学习路之PHP --TP6异步执行功能 (无需安装任何框架)
  • Linux 日志系统·
  • 蓝桥杯手把手教你备战(C/C++ B组)(最全面!最贴心!适合小白!)
  • Linux提权之详细总结版(完结)
  • (八)趣学设计模式 之 装饰器模式!
  • 【阮一峰】19.类型工具
  • 用AI写游戏3——用java实现坦克大战游戏1
  • Springboot使用Milvus的基本操作
  • Linux红帽:RHCSA认证知识讲解(三)Linux基础指令与Vim编辑器的使用
  • css实现左右切换平滑效果
  • Gurobi 并行计算的一些问题
  • Rk3568驱动开发_点亮led灯代码完善(手动挡)_6
  • 博客系统笔记总结 2( Linux 相关)
  • 集合与反射
  • 计算机视觉(opencv-python)入门之常见图像处理基本操作(待补充)
  • 如何使用Java爬虫按关键字搜索VIP商品实践指南
  • Vue 3 搭建前端模板并集成 Ant Design Vue(2025)
  • seasms v9 注入漏洞 + order by注入+​information_schema​解决方法
  • 【三维分割】LangSplat: 3D Language Gaussian Splatting(CVPR 2024 highlight)
  • 面试基础---深入解析 AQS
  • 爬虫获取 t_nlp_word 文本语言词法分析接口:技术实现与应用实践
  • Apache Commons Chain 与 Spring Boot 整合:构建用户注册处理链
  • 在虚拟机CentOS安装VMware Tools
  • 大白话css第二章深入学习