洛阳网络建站百度网站收录入口

前言

flink在实时计算领域中有着举足轻重的地位。这篇文章来介绍一下，在linux的docker环境下，怎么快速安装一个单机版本的flink。

操作流程

环境准备

检查docker环境是不是正常，如果在拉取镜像的时候比较慢，建议使用镜像加速，比如使用腾讯云的镜像加速

cat /etc/docker/daemon.json 
{"registry-mirrors": ["https://mirror.ccs.tencentyun.com"]
}

执行完成后，重启docker

拉取flink镜像

docker pull apache/flink:1.18.0-scala_2.12-java11

注：这个版本的镜像体积相对比较小 

启动JobManager

docker run -d --name flink-jobmanager  -p 8081:8081 -p 6123:6123 --restart=always flink:1.18.0-scala_2.12-java11 jobmanager

参数说明：

• -d：让容器在后台运行。

• --name flink-jobmanager：为容器指定名称为 flink-jobmanager。

• -p 8081:8081：将容器的 8081 端口映射到宿主机的 8081 端口，通过该端口可以访问 Flink 的 Web UI。

• -p 6123:6123：将容器的 6123 端口映射到宿主机的 6123 端口，此端口用于作业管理器的内部通信。

• flink:1.18.0-scala_2.12-java11：指定要使用的 Flink 镜像。

• jobmanager：表示启动的是作业管理器。

• --restart 表示容器挂掉后会自动重启容器

获取JobManager的IP地址

docker inspect -f '{{range.NetworkSettings.Networks}}{{.IPAddress}}{{end}}' flink-jobmanager

启动TaskManager

docker run -d --name flink-taskmanager -e JOB_MANAGER_RPC_ADDRESS=172.17.0.3 -p 6121:6121 -p 6122:6122 --restart=always flink:1.18.0-scala_2.12-java11 taskmanager

参数说明：

• -d：让容器在后台运行。
• --name flink-taskmanager：为容器指定名称为 flink-taskmanager。
• -e JOB_MANAGER_RPC_ADDRESS=xxxx：指定作业管理器的 RPC 地址，这个地址是上一步得到的
• -p 6121:6121 和 -p 6122:6122：分别将容器的 6121 和 6122 端口映射到宿主机的对应端口，这两个端口用于任务管理器的内部通信。
• flink:1.18.0-scala_2.12-java11：指定要使用的 Flink 镜像。
• taskmanager：表示启动的是任务管理器。

验证安装

访问 Web UI

打开浏览器，访问 http://<你的服务器 IP 地址>:8081，若能看到 Flink 的 Web UI 界面，说明 Flink 单机版已成功启动。在该界面中，你可以查看作业管理器和任务管理器的状态、提交作业等。

这里需要注意，如果使用的是公有云，需要开对应的防火墙策略。

检查容器状态

docker ps

通过这个docker命令，可以查询到正在运行中的docker容器，如果运行列表中包含flink-jobmanager、fink-taskmanager，说明启动ok

停止和清理

停止正在运行中的flink容器、删除容器

docker stop flink-jobmanager fink-taskmanager
docker rm flink-jobmanager fink-taskmanager

总结

通过上面的安装教程，一个简单的单机版的flink就安装成功了。这里将JobManager和TaskManager进行分开部署，这样做的好处有如下几点

• 功能分离
• 可扩展性
• 容错和高可用性
• 资源隔离
• 方便维护和管理

最后，总结了下常见的docker容器的操作命令

# 查询所有的容器
docker ps -a# 查询对应name容器的容器id
docker ps -qf "name=flink-jobmanager"# 实时查看docker容器的日志
docker logs -f afa4783601bc
# 查看最近100行日志
docker logs --tail=100 afa4783601bc# 查询容器详细的信息
docker inspect afa4783601bc

当然，更主流的做法是使用docker compose来进行部署，后面会来一章详细介绍docker compose！