如何搭建spark yarn模式集群的集群

以下是搭建 Spark YARN 模式集群的一般步骤：

准备工作

• 确保集群中各节点已安装并配置好 Java 环境，且版本符合 Spark 要求。
• 规划好集群中节点的角色，如 Master 节点、Worker 节点等，并确保各节点之间网络畅通，能相互访问。

安装 Hadoop

配置 Spark on YARN

• 下载适合你系统的 Hadoop 版本，解压到指定目录。
• 配置 Hadoop 的核心配置文件，如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，设置相关参数，如文件系统路径、资源分配等。
• 格式化 Hadoop 文件系统（通常在 Master 节点上执行）：hdfs namenode -format。
• 启动 Hadoop 集群，包括 NameNode、DataNode、ResourceManager 和 NodeManager 等服务。

• 安装 Spark

• 下载 Spark 安装包，解压到集群各节点的指定目录。
• 进入 Spark 的配置目录，复制spark-env.sh.template为spark-env.sh，并进行编辑，设置以下环境变量：
  • export JAVA_HOME=/path/to/java（替换为实际的 Java 安装路径）
  • export HADOOP_CONF_DIR=/path/to/hadoop/conf（Hadoop 配置文件目录）
  • 可以根据需要设置其他参数，如SPARK_MEM等。
• 同样在配置目录下，复制slaves.template为slaves，在slaves文件中列出所有 Worker 节点的主机名或 IP 地址，每行一个。
• 编辑spark-defaults.conf文件，添加或修改以下配置：
  • spark.master yarn：指定 Spark 运行在 YARN 模式下。
  • spark.submit.deployMode cluster：设置提交模式为集群模式。
  • 还可以配置其他参数，如spark.executor.memory、spark.executor.cores等，以调整资源分配。

启动 Spark 集群

• 在 Master 节点上，使用以下命令提交一个 Spark 示例应用程序来测试集群是否正常运行：

• spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \
  /path/to/spark-examples.jar \
  [parameters]

• 其中，/path/to/spark-examples.jar是 Spark 示例应用程序的路径，[parameters]是应用程序所需的参数。

验证集群

• 可以通过 Hadoop 的 YARN Web 界面（通常在http://resourcemanager-host:8088）查看应用程序的运行状态和资源使用情况。
• 也可以通过 Spark 的 Web 界面（通常在http://master-host:4040，如果是集群模式，可能在 YARN 的应用程序页面中找到 Spark 的 Web UI 链接）查看 Spark 应用程序的详细信息，如执行计划、任务进度等。