企业做网站设计的系统优化大师官方下载
一、引言
Spark是一个用于大规模数据分析处理的分布式计算框架，适用于快速处理大数据的场景。Yarn是一个资源调度框架，用于集群资源的调度和管理。Spark 的任务也可以提交到Yarn中运行，由Yarn进行资源调度。在生产环境中，为了避免单点故障导致整个集群不可用的情况，一个很好的方式就是部署一个HA高可用的运行环境。
二、环境
1、 前提环境
配置高可用，首先要保证下面三个环境能正常运行。
- yarn集群
- spark集群
- zookeeper集群
2、zookeeper作用
以zookeeper在Spark集群中为例，在Yarn集群中也是同样的作用。
- Master节点的高可用性
Spark 高可用中，会有多个个Master节点，zookeeper会协助管理哪些Master节点是活动的，哪些是备份的。
- Master节点的选举机制
Spark 高可用中，使用zookeeper来实现Master节点的选举。在Spark集群中有多个Master节点时，zookeeper会确保只有一个节点是活跃的。一旦当前主节点失败，zookeeper会重新选举出一个新的Master节点，保证集群正常运行。
-
保存元数据和配置信息
Zookeeper用来保存和共享Spark集群的配置信息、状态、集群的元数据。当Master节点切换时，可以做到数据同步。
Zookeeper在集群中通过Master节点选举和故障恢复来确保集群的稳定运行。通过使用Zookeeper，可以有效的避免单点故障，在Master发生异常时自动切换，保证计算任务正常运行。
三、Yarn HA 配置
1、首先执行stop-yarn.sh，停止现有的yarn环境
2、在yarn-site.xml中，添加如下配置
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 开启RM高可用 --><property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><!-- 指定RM的cluster id --><property><name>yarn.resourcemanager.cluster-id</name><value>yrc