长宁区网站建设开发公司网站生成二维码

spark的standalone模集群模式是spark自带的一种集群模式，主要就是适用于进行测试环境的测试工作，以及一些数据小范围的测试使用，一般不用于生产环境。
standalone模式洪有 master,worker,driver,excutor,w无需依赖其它。
其中master指的就是主节点，管理对worker从节点资源的分配和管理，决定Driver和xcutor的运行位置
worker从节点主要是接受来自master主节点的指示启动Excutor
driver驱动器是负责管理任务的DAU，负责调度运行task任务，取决于standalone是那种模式，如果是clinet的就是，就是提交大客户端机器上，如果是standaone on clusetr，就是会运行在某个从节点上。
excutor执行器是负责执行task任务的。

上述讲的其实就是spark任务提交所涉及到的组件啊，那么具体的步骤就是
1、Spark-submit提交需要运行的任务，涉及大参数包括claster类，以及运行模型是master，以及执行的内存和core等；
2、master接受到任务后选择一个work启动driver驱动器没，如果选择的事cline客户端模式，俺就是master所在的客户端作为driver驱动器运行的起点；如果是cluetr模式，那么就是需要选择一个worker节点作为driver驱动器的运行接地那
3、启动driver，启动driver之后，对提交的任务内容进行解析，生成DAG和task任务。
5、Excuttor注册和进行任务计算，master根据解析的资源，选择worker节点进行分配执行器的分配。
6、最后任务分配完后，进行释放资源