Flink集成资源管理器
Flink集成资源管理器
Apache Flink 支持多种资源管理器，主要包括以下几种：
- YARN ResourceManager ：适用于使用 Hadoop YARN 作为资源管理器的环境。YARN ResourceManager 负责管理集群中的资源，包括 CPU、内存等，并根据 Flink 的需求动态申请和释放资源。
- Kubernetes ResourceManager ：适用于使用 Kubernetes 作为资源管理器的环境。Kubernetes ResourceManager 能够根据 Flink 作业的需求，动态启动和停止 TaskManager 容器，从而实现资源的灵活管理和高效利用。
- Mesos ResourceManager ：适用于使用 Mesos 作为资源管理器的环境。Mesos ResourceManager 提供跨应用的资源隔离和共享，能够根据 Flink 作业的需求分配资源。
- Standalone ResourceManager ：适用于独立部署的 Flink 集群。Standalone ResourceManager 不依赖于外部资源管理器，能够独立管理集群内的资源。
资源管理器的作用和重要性
资源管理器在 Flink 中扮演着至关重要的角色，主要负责以下功能：
- 资源分配 ：根据 Flink 作业的需求，动态申请和分配计算资源，如 CPU、内存等。
- 任务调度 ：管理 TaskManager 的启动和停止，确保作业能够高效运行。
- 故障恢复 ：在任务失败时，能够快速重新调度和恢复任务，保证系统的稳定性和可靠性。
- 高可用性 ：支持高可用设置，确保在主 JobManager 失败时，备用 JobManager 能够接管，保证服务的连续性。
Flink集成YARN
有两种方式，环境变量法和jar法：
- 环境变量
在 Flink 的配置文件中设置 Hadoop 的环境变量，让 Flink 能够访问 Hadoop 的配置和文件系统。例如，可以通过设置 HADOOP_CLASSPATH 环境变量来实现。
# 新建文件vim /etc/profile.d/bigdata_enb.sh # Hadoop环境变量
export HADOOP_HOME=/opt/module/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin# Flink集成Hadoop环境, 其中 ` 是执行 hadoop classpath命令，非文本
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
- jar 法
将 Hadoop 的依赖打包到 Flink 的 uber jar 包中，这样 Flink 就能够直接访问 Hadoop 的 API 和文件系统。例如，hadoop3.0+可以下载 flink-shaded-hadoop-3-uber.jar、hadoop2.0+下载flink-shaded-hadoop-2-uber.jar 包并将其放在 Flink 的 lib 目录中。