音乐网站用什么语言做站长工具端口检测
文章目录
Spark On Yarn 配置
一、配置
1、将Spark安装包解压放在node5节点
2、配置spark-env.sh
二、提交任务测试
Spark On Yarn 配置
Spark 也可以基于Yarn进行任务调度，这就是所谓的Spark on Yarn。Spark基于Yarn进行任务调度只需要在Spark客户端配置相应Hadoop配置文件地址即可。
一、配置
这里选择node5节点作为Spark On Yarn的客户端，Spark On Yarn配置如下：
1、将Spark安装包解压放在node5节点
[root@node5 ~]# cd /software/
[root@node5 software]# tar -zxvf ./spark-3.5.5-bin-hadoop3-scala2.13.tgz
[root@node5 software]# mv ./spark-3.5.5-bin-hadoop3-scala2.13 spark-3.5.52、配置spark-env.sh
进入$SPARK_HOME/conf，配置spark-env.sh，在该文件中配置HADOOP_CONF_DIR或者YARN_CONF_DIR指定Hadoop相关配置文件路径，两者只需要配置一个即可，配置哪个都可以。spark-env.sh配置如下内容：
[root@node5 ~]# cd /software/spark-3.5.5/conf/
[root@node5 conf]# mv spark-env.sh.template spark-env.sh
#配置HADOOP_CONF_DIR或者YARN_CONF_DIR都可以，两者选其一
[root@node5 conf]# vim spark-env.sh
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop注意：配置Spark On Yarn时，需要在每台NodeManager节点中将每台NodeManager的虚拟内存关闭，在每台NodeManager节点的$HADOOP_HOME/etc/hadoop/yarn-site.xml中加入如下配置：
<property><!-- 关闭虚拟内存检查 --><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
二、提交任务测试
启动HDFS集群、启动Yarn集群，然后在node5节点上提交Spark Pi任务测试Spark任务是否正常在Yarn上执行。
#启动zookeeper集群
[root@node3 ~]# zkServer.sh start
[root@node4 ~]# zkServer.sh start
[root@node5 ~]# zkServer.sh start#启动hadoop集群
[root@node1 ~]# start-all.sh #在node5节点提交Spark Pi任务
[root@node5 ~]# cd /software/spark-3.5.5/bin/
[root@node5 bin]# ./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.13-3.5.5.jar 100以上提交任务命令执行后，可以看到有对应100个task执行，最后输出pi的大致结果。
- 📢博客主页：https://lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
- 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
- 📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨