使用云虚拟机搭建hadoop集群环境

使用云虚拟机搭建hadoop集群环境

安装jdk17

配置docker网络

docker network create --subnet=172.18.0.0/16 hadoop  

• 172.18.0.0：这是子网的网络地址，也就是这个网络的起始地址。
• /16：这是子网掩码（Network Mask），表示前 16 位是网络部分，后 16 位是主机部分。

结合起来，172.18.0.0/16 表示：

• 网络范围从 172.18.0.0 到 172.18.255.255
• 可以在这个范围内为容器分配 IP 地址

查看

 docker network ls

网桥bridge的作用

• 隔离与连接： 一个 bridge 网络可以让容器在其内部相互通信，同时与宿主机分隔。
• bridge 是一种虚拟的网络驱动，允许多个容器共享同一个虚拟网络，就像连接到一个虚拟的交换机（交换机常用的网络桥）一样。

拉取hadoop镜像

sudo docker pull kiwenlau/hadoop:1.0

拉取hadoop-cluster-docker

git clone https://github.com/kiwenlau/hadoop-cluster-docker

之后：cd hadoop-cluster-docker

启动三节点容器：

./start-container.sh  # 默认启动1个master + 2个slave

docker start hadoop-master hadoop-slave1 hadoop-slave2  # 同时启动三个容器

然后进入到hadoop-master节点里

docker exec -it hadoop-master /bin/bash

之后执行

./start-hadoop.sh  # 初始化并启动HDFS/YARN服务

然后执行

./run-wordcount.sh  # 运行WordCount测试任务

最后运行成功显示：

验证：进入Web管理界面

• HDFS（NameNode）：http://<云服务器公网IP>:50070
• YARN（ResourceManager）：http://<云服务器公网IP>:8088479