当前位置：首页 > news >正文

Flink1.17.0集群的搭建

news 2025/9/13 5:25:20

环境准备：VMware、CentOS7、FinalShell、Flink1.17.0

已有三个虚拟机，IP地址分别为：192.168.79.129，192.168.79.130，192.168.79.135

flink1.17.0和jdk下载：
链接: https://pan.baidu.com/s/1qiSUJZCCTXE6VuYr6z2aeQ?pwd=9qcb 提取码: 9qcb

1.下载flink-1.17.0安装包并解压

下载安装包flink-1.17.0-bin-scala_2.12.tgz，将安装包上传到192.168.79.129虚拟机的/usr/flink/目录下。（使用FinalShell可以直接拖动压缩包上传）

切换到压缩包目录下

cd /usr/flink

解压文件

tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /usr/flink

2. 修改集群配置

在/usr/flink/flink1.17.0/conf目录下找到flink-conf.yaml文件，修改flink-conf.yaml文件内容。

JobManager节点地址.
jobmanager.rpc.address: 192.168.79.129
jobmanager.bind-host: 0.0.0.0
rest.address: 192.168.79.129
rest.bind-address: 0.0.0.0
TaskManager节点地址，需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: 192.168.79.129

在/usr/flink/flink1.17.0/conf目录下找到workers文件，修改workers文件内容。

指定192.168.79.129、192.168.79.130和192.168.79.135为TaskManager

在/usr/flink/flink1.17.0/conf目录下找到masters文件，修改masters文件内容。

3. 将文件夹拷贝到另外两个虚拟机上

在192.168.79.130虚拟机上新建/usr/flink文件夹

使用scp命令将192.168.79.129虚拟机上的flink1.17.0文件夹拷贝到192.168.79.130虚拟机上

scp -r /usr/flink/flink-1.17.0 root@192.168.79.130:/usr/flink/

（如果没有使用SSH，需要输入password）

修改192.168.79.130虚拟机的配置，在/usr/flink/flink1.17.0/conf目录下找到flink-conf.yaml文件，修改flink-conf.yaml文件内容。

TaskManager节点地址需要配置为当前虚拟机地址。

在192.168.79.135虚拟机上的操作同上。

4. 配置Java环境

如果没有Java环境会报错，先配置Java环境。

配置Java环境：

将jdk-8u162-linux-x64.tar.gz上传到192.168.79.129虚拟机的/usr/jdk目录下并解压。

tar -zxvf jdk-8u162-linux-x64.tar.gz

为了方便可以将jdk1.8.0_162文件夹重命名为jdk1.8

配置环境变量，修改/etc/profile文件。

export JAVA_HOME=/usr/jdk/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}

使profile生效

source /etc/profile

检查配置环境是否成功，可查看jdk版本。

在192.168.79.130和192.168.79.135虚拟机的操作同上。

5. 启动集群

bin/start-cluster.sh

在192.168.79.129虚拟机上输入此命令（如果没有SSH，则需要输入password）

集群成功启动后，在每个虚拟机下输入jps可查看进程情况：

192.168.79.129虚拟机：192.168.79.130虚拟机：192.168.79.135虚拟机：Master上有TaskManagerRunner、StandaloneSessionClusterEntrypoint，Workers上有TaskManagerRunner进程说明集群启动成功。