当前位置：首页 > news >正文

【spark-submit】--提交任务

news 来源：原创 2025/6/25 6:10:10

Spark-submit

spark-submit 是 Apache Spark 提供的用于提交 Spark 应用程序到集群的命令行工具。

基本语法

spark-submit [options] <app-jar> [app-arguments]

常用参数说明

应用程序配置

--class <class-name>: 指定应用程序的主类（对于 Java/Scala 程序）
--name <app-name>: 设置应用程序名称
--jars <jars>: 添加额外的 JAR 文件到 classpath（逗号分隔）
--py-files <files>: 为 Python 应用添加额外的文件（.zip, .egg, .py）
--files <files>: 将文件上传到执行器工作目录（逗号分隔）
--conf <key>=<value>: 设置任意 Spark 配置属性

资源分配

--driver-memory <memory>: 设置 Driver 进程内存（如 1g）
--executor-memory <memory>: 设置每个 Executor 进程内存（如 1g）
--executor-cores <num>: 设置每个 Executor 使用的核心数
--num-executors <num>: 设置要启动的 Executor 数量
--total-executor-cores <num>: 设置所有 Executor 使用的总核心数

部署模式

--master <master-url>: 指定集群管理器
- local: 本地模式（单线程）
- local[K]: 本地模式（K 个线程）
- local[*]: 本地模式（使用所有核心）
- spark://host:port: 连接到独立部署的 Spark 集群
- mesos://host:port: 连接到 Mesos 集群
- yarn: 连接到 YARN 集群
- k8s://https://host:port: 连接到 Kubernetes 集群
--deploy-mode <mode>: 部署模式（client 或 cluster）
- client: Driver 在提交的客户端运行（默认）
- cluster: Driver 在集群中运行

其他参数

--verbose: 打印调试信息
--version: 打印 Spark 版本
--help: 显示帮助信息
--supervise: 如果失败则自动重启 Driver（仅限独立集群）
--kill <submissionId>: 终止指定应用程序
--status <submissionId>: 查询指定应用程序状态

使用示例

spark-submit --master yarn \
--deploy-mode client \
--driver-memory xG \
--executor-memory XG \
--class org.xx.xx \
--executor-cores x \
jar包
arg0 arg1

基本示例

# 本地运行（4个线程）
spark-submit --class org.apache.spark.examples.SparkPi \
             --master local[4] \
             /path/to/examples.jar \
             100

# YARN 集群模式
spark-submit --class org.apache.spark.examples.SparkPi \
             --master yarn \
             --deploy-mode cluster \
             --executor-memory 2g \
             --num-executors 10 \
             /path/to/examples.jar \
             100

Python 应用示例

spark-submit --master spark://master:7077 \
             --executor-memory 1g \
             --py-files dependencies.zip \
             my_python_app.py \
             arg1 arg2