Flink 命令行提交、展示和取消作业
Apache Flink 是一个流处理和批处理的开源框架,用于在分布式环境中执行无边界和有边界的数据流。你可以使用 Flink 的命令行界面(CLI)来提交、展示和取消作业。
提交作业
使用 Flink CLI 提交作业的命令格式通常如下:
./bin/flink run -m <jobmanager_host>:<jobmanager_port> -c <entrypoint_class> <jar_file_path> <arguments>
-m <jobmanager_host>:<jobmanager_port>
:指定 JobManager 的地址和端口。-c <entrypoint_class>
:指定 JAR 文件中包含作业入口点的类。<jar_file_path>
:要提交的 JAR 文件的路径。<arguments>
:传递给作业的任何可选参数。
例如:
./bin/flink run -m localhost:6123 -c com.example.MyFlinkJob /path/to/my-flink-job.jar --input /path/to/input --output /path/to/output
展示作业
要查看 Flink 集群上正在运行的作业,你可以使用 Flink 的 Web UI。默认情况下,Web UI 可以在 JobManager 的 8081 端口上访问(例如,http://localhost:8081/
)。在 Web UI 上,你可以看到所有正在运行的作业、它们的任务、以及相关的性能指标。
另外,你也可以使用 Flink CLI 的 list
命令来列出正在运行的作业:
./bin/flink list -m <jobmanager_host>:<jobmanager_port>
取消作业
要取消 Flink 集群上正在运行的作业,你可以使用 Flink CLI 的 cancel
命令,并指定作业的 ID:
./bin/flink cancel -m <jobmanager_host>:<jobmanager_port> <job_id>
其中 <job_id>
是你想要取消的作业的 ID。你可以通过 Flink Web UI 或 list
命令来获取作业的 ID。
例如:
./bin/flink cancel -m localhost:6123 00000000000000000000000000000000
注意:你需要确保你有足够的权限来提交、展示和取消作业。在某些环境中,可能需要特定的身份验证或授权。