flink的Standalone-HA模式安装
FlinkStandalone-HA模式安装指南
ApacheFlink的Standalone-HA（高可用）模式为生产环境提供了故障恢复能力，确保JobManager故障时作业能够自动恢复。以下是安装配置的关键步骤：
环境准备
首先确保所有节点已安装Java8+环境，并配置SSH免密登录。下载Flink二进制包并解压到集群所有节点相同目录下。
配置修改
1.conf/flink-conf.yaml核心配置：
```yaml
jobmanager.rpc.address:master-node
high-availability:zookeeper
high-availability.storageDir:hdfs://namenode:8020/flink/ha/
high-availability.zookeeper.quorum:zk1:2181,zk2:2181,zk3:2181
```
2.conf/masters文件指定主备JobManager：
```
master-node:8081
backup-node:8081
```
3.conf/workers文件列出所有TaskManager节点
ZooKeeper配置
Standalone-HA依赖ZooKeeper进行领导者选举和状态存储。需提前部署3节点ZooKeeper集群，并确保网络连通性。
启动集群
1.首先启动ZooKeeper服务
2.在HDFS上创建HA目录
3.在主节点执行`bin/start-cluster.sh`启动集群
4.通过`bin/historyserver.shstart`启动历史服务器（可选）
验证部署
访问主节点WebUI（默认8081端口）确认组件状态。提交测试作业后，可手动kill主JobManager进程，观察备节点是否自动接管，作业是否继续运行。
Standalone-HA模式虽不如YARN/K8s集成方案灵活，但配置简单，适合中小规模生产环境。注意定期清理HDFS上的HA目录，避免存储空间无限增长。
ApacheFlink的Standalone-HA（高可用）模式为生产环境提供了故障恢复能力，确保JobManager故障时作业能够自动恢复。以下是安装配置的关键步骤：
环境准备
首先确保所有节点已安装Java8+环境，并配置SSH免密登录。下载Flink二进制包并解压到集群所有节点相同目录下。
配置修改
1.conf/flink-conf.yaml核心配置：
```yaml
jobmanager.rpc.address:master-node
high-availability:zookeeper
high-availability.storageDir:hdfs://namenode:8020/flink/ha/
high-availability.zookeeper.quorum:zk1:2181,zk2:2181,zk3:2181
```
2.conf/masters文件指定主备JobManager：
```
master-node:8081
backup-node:8081
```
3.conf/workers文件列出所有TaskManager节点
ZooKeeper配置
Standalone-HA依赖ZooKeeper进行领导者选举和状态存储。需提前部署3节点ZooKeeper集群，并确保网络连通性。
启动集群
1.首先启动ZooKeeper服务
2.在HDFS上创建HA目录
3.在主节点执行`bin/start-cluster.sh`启动集群
4.通过`bin/historyserver.shstart`启动历史服务器（可选）
验证部署
访问主节点WebUI（默认8081端口）确认组件状态。提交测试作业后，可手动kill主JobManager进程，观察备节点是否自动接管，作业是否继续运行。
Standalone-HA模式虽不如YARN/K8s集成方案灵活，但配置简单，适合中小规模生产环境。注意定期清理HDFS上的HA目录，避免存储空间无限增长。