当前位置: 首页 > news >正文

简述下Spark中的自带的standalone集群管理的任务执行流程

spark的standalone模集群模式是spark自带的一种集群模式,主要就是适用于进行测试环境的测试工作,以及一些数据小范围的测试使用,一般不用于生产环境。
standalone模式洪有 master,worker,driver,excutor,w无需依赖其它。
其中master指的就是主节点,管理对worker从节点资源的分配和管理,决定Driver和xcutor的运行位置
worker从节点主要是接受来自master主节点的指示启动Excutor
driver驱动器是负责管理任务的DAU,负责调度运行task任务,取决于standalone是那种模式,如果是clinet的就是,就是提交大客户端机器上,如果是standaone on clusetr,就是会运行在某个从节点上。
excutor执行器是负责执行task任务的。

上述讲的其实就是spark任务提交所涉及到的组件啊,那么具体的步骤就是
1、Spark-submit提交需要运行的任务,涉及大参数包括claster类,以及运行模型是master,以及执行的内存和core等;
2、master接受到任务后选择一个work启动driver驱动器没,如果选择的事cline客户端模式,俺就是master所在的客户端作为driver驱动器运行的起点;如果是cluetr模式,那么就是需要选择一个worker节点作为driver驱动器的运行接地那
3、启动driver,启动driver之后,对提交的任务内容进行解析,生成DAG和task任务。
5、Excuttor注册和进行任务计算,master根据解析的资源,选择worker节点进行分配执行器的分配。
6、最后任务分配完后,进行释放资源

相关文章:

  • 【决策树】分类属性的选择
  • Linux端口映射
  • 图解KV Cache:解锁LLM推理效率的关键
  • NVIDIA GPU 系列简单介绍
  • Vue盲区扫雷
  • oracle decode
  • WireGuard搭建网络,供整个公司使用
  • 自动计算相机pose,pyrender渲染例子
  • QILSTE H6-C210TCG高亮翠绿光LED灯珠 发光二极管LED
  • 使用 `#pragma comment(lib, “xxx.lib“)` 简化 DLL 依赖管理
  • (十 八)趣学设计模式 之 观察者模式!
  • vscode通过ssh远程连接(linux系统)不能跳转问题
  • CSS—显示模式display、定位position、元素溢出overflow、float浮动
  • 【入门Web安全之前端学习的侧重点和针对性的建议】
  • java后端开发day26--常用API(一)
  • 浅克隆与深克隆区别
  • MySQL SQL 优化专题
  • PCL的ConditionalRemoval(1)
  • 如何注册并加入一个联盟营销平台?详细步骤+风控指南
  • 基础的排序算法下(交换排序和归并排序)
  • 韩国代总统、国务总理韩德洙宣布辞职
  • 美国经济萎缩意味着什么?关税政策如何反噬经济?
  • 沈晓萍︱严金清:比斯坦因更早获得敦煌文物的无锡名士
  • 中央网信办部署开展“清朗·整治AI技术滥用”专项行动
  • 马上评丨准入壁垒越少,市场活力越足
  • 昂立教育:去年减亏1.39亿元,今年以“利润持续增长”为核心目标