建设网站的价格哈尔滨网络开发
使用云虚拟机搭建hadoop集群环境
安装jdk17
配置docker网络
docker network create --subnet=172.18.0.0/16 hadoop
- 172.18.0.0：这是子网的网络地址，也就是这个网络的起始地址。
- /16：这是子网掩码（Network Mask），表示前 16 位是网络部分，后 16 位是主机部分。
结合起来，172.18.0.0/16 表示：
- 网络范围从
172.18.0.0到172.18.255.255 - 可以在这个范围内为容器分配 IP 地址
查看
docker network ls
网桥bridge的作用
- 隔离与连接： 一个
bridge网络可以让容器在其内部相互通信，同时与宿主机分隔。 bridge是一种虚拟的网络驱动，允许多个容器共享同一个虚拟网络，就像连接到一个虚拟的交换机（交换机常用的网络桥）一样。
拉取hadoop镜像
sudo docker pull kiwenlau/hadoop:1.0
拉取hadoop-cluster-docker
git clone https://github.com/kiwenlau/hadoop-cluster-docker
之后：cd hadoop-cluster-docker
启动三节点容器：
./start-container.sh # 默认启动1个master + 2个slave
docker start hadoop-master hadoop-slave1 hadoop-slave2 # 同时启动三个容器
然后进入到hadoop-master节点里
docker exec -it hadoop-master /bin/bash
之后执行
./start-hadoop.sh # 初始化并启动HDFS/YARN服务
然后执行
./run-wordcount.sh # 运行WordCount测试任务
最后运行成功显示：
验证：进入Web管理界面
- HDFS（NameNode）：
http://<云服务器公网IP>:50070 - YARN（ResourceManager）：
http://<云服务器公网IP>:8088479