学院实训云上搭建集群

1. 登录实训云

1.1 实训云网址

• 网址：http://192.168.192.40
  

1.2 登录实训云

• 输入正确的用户名和密码
  

• 登录成功后显示首页
  

1.3 切换语言

• 由默认的英文切换到中文
  

2. 创建网络

2.1 网络概述

• 网络名为huawei，子网为huawei_subnet，网络地址为192.168.1.0/24，分配地址池192.168.1.2,192.168.1.254，DNS设置为114.114.114.114。此网络结构清晰，地址配置明确，具备基础的网络配置要素，可满足一般网络应用场景下的设备接入与通信需求。

2.2 创建步骤

• 演示如何创建网络
  
• 显示成功创建的网络huawei
  

3. 创建路由器

3.1 路由器名称

• 路由器名称：huawei_router

3.1 创建路由器

• 演示如何创建路由器
  

• 显示成功创建的路由器huawei_router
  

3.3 查看网络拓扑

• 显示【网络拓扑】页面
  

4. 连接子网

• 演示如何连接子网
  

• 查看网络拓扑
  

• 网络拓扑图显示了 extNetwork（外部网络）、huawei_router（路由器）、huawei（网络）和 huawei_subnet（子网），它们之间通过线条连接，展示了网络的连接关系和架构。

5. 创建虚拟网卡

5.1 创建原因

• 创建虚拟网卡是为了给云主机分配固定IP地址。云主机在网络中运行，若需稳定的网络标识和连接，固定IP不可或缺。虚拟网卡充当云主机与网络间的桥梁，通过创建它并绑定固定IP，可确保云主机在网络中的唯一性和稳定性，便于管理与访问。

5.2 查看端口

• 显示【端口】页面
  
• 说明：云控制台的“端口”管理页面，显示了两个虚拟网卡的详细信息，包括ID、绑定资源、所属网络、IP地址、MAC地址及运行状态。当前两个端口均处于“运行中”状态，分别分配了192.168.1.2和192.168.1.1的IPv4地址，用于云服务器网络连接配置。

5.3 创建虚拟网卡

• 演示如何创建虚拟网卡
  
• 查看成功创建的虚拟网卡master_vnic
  
• 同理创建虚拟网卡slave1_vnic和slave2_vnic
  

6. 管理安全组规则

6.1 为什么要管理安全组规则

• 管理安全组规则至关重要，因为后续使用FinalShell工具软件通过SSH连接云主机时，需设置规则放开ICMP协议和TCP协议入口的全部端口。这样能确保连接的顺利进行，同时保障网络安全，在满足连接需求的前提下，有效控制网络访问权限，防止潜在的安全威胁。

6.2 在默认安全组里创建规则

• 演示如何在默认安全组里创建规则
  

7. 创建云主机

7.1 创建master云主机

• 演示如何创建master云主机
  
• 查看创建成功的master云主机，固定IP地址192.168.1.101
  

7.2 创建slave1云主机

• 演示如何创建slave1云主机
  

• 查看创建成功的slave1云主机，固定IP地址192.168.1.102
  

7.3 创建slave2云主机

• 演示如何创建slave2云主机
  

• 查看创建成功的slave2云主机，固定IP地址192.168.1.103
  

8. 绑定浮动IP地址

8.1 为何要绑定

• 绑定浮动IP地址是实现FinalShell远程连接云主机的关键步骤。浮动IP地址具有灵活性，可与云主机动态绑定，即便云主机发生故障迁移等情况，IP地址仍可保持不变，从而确保FinalShell能够稳定地远程连接到云主机，保障远程操作的连续性和可靠性。

8.2 申请浮动IP地址

• 演示如何申请浮动IP地址
  
• 查看成功申请的三个浮动IP地址
  

8.3 绑定浮动IP地址

• 演示如何绑定浮动IP地址
  
• 查看三个绑定浮动IP的云主机
  

9. 远程连接云主机

9.1 启动FinalShell

• 启动FinalShell
  

9.2 远程连接master云主机

• 演示如何远程连接master云主机
  
• 显示成功远程连接master云主机
  
• 注意：远程连接用的是master云主机的浮动IP地址192.168.219.82，而不是内网IP地址192.168.1.101。

9.3 远程连接slave1云主机

• 演示如何远程连接slave1云主机
  

• 显示成功远程连接slave1云主机
  

• 注意：远程连接用的是slave1云主机的浮动IP地址192.168.218.29，而不是内网IP地址192.168.1.102。

9.4 远程连接slave2云主机

• 演示如何远程连接slave2云主机
  

• 显示成功远程连接slave2云主机
  

• 注意：远程连接用的是slave2云主机的浮动IP地址192.168.218.120，而不是内网IP地址192.168.1.103。

10. 修改本地映射文件

• 在文件C:\Windows\System32\drivers\etc\hosts里添加三条映射
  

  192.168.219.82 master
  192.168.218.29 slave1
  192.168.218.120 slave2
  

11. 测试本机与云主机通信

11.1 按IP地址来测试是否能Ping通master云主机

• 执行命令：ping 192.168.219.111
  
• 结论：按IP地址可以Ping通master云主机

11.2 按主机名测试是否能Ping通master云主机

• 执行命令：ping master
  
• 结论：按主机名可以Ping通master云主机

12. 配置云主机

12.1 配置master云主机

12.1.1 设置主机名

• 执行命令：hostnamectl set-hostname master
  

12.1.2 设置映射

• 执行命令：vim /etc/hosts
  

12.1.3 防火墙允许新端口

• 命令序列

  systemctl restart firewalld
  firewall-cmd --permanent --add-port=222/tcp
  firewall-cmd --reload
  systemctl stop firewalld
  systemctl disable firewalld
  

• 执行命令序列
  

12.1.4 修改Hadoop环境配置文件

• 执行命令：vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
  

12.1.5 配置免密登录

1. 生成密钥对

   • 执行命令：ssh-keygen
     

   • 执行命令后，连续敲回车，生成节点的公钥和私钥，生成的密钥文件会自动放在/root/.ssh目录下。

2. 将生成的公钥发送到三个云主机

   • 发送给master云主机，执行命令：ssh-copy-id -p 222 root@master
     

   • 发送给slave1云主机，执行命令：ssh-copy-id -p 222 root@slave1
     

   • 发送给slave2云主机，执行命令：ssh-copy-id -p 222 root@slave2
     

3. 验证是否能免密登录三个云主机

   • 免密登录master云主机，执行命令：ssh -p 222 master
     

   • 免密登录slave1云主机，执行命令：ssh -p 222 slave1
     

   • 免密登录slave2云主机，执行命令：ssh -p 222 slave2
     

12.2 配置slave1云主机

12.2.1 设置主机名

• 执行命令：hostnamectl set-hostname slave1
  

12.2.2 设置映射

• 执行命令：vim /etc/hosts
  

12.2.3 防火墙允许新端口

• 命令序列

  systemctl restart firewalld
  firewall-cmd --permanent --add-port=222/tcp
  firewall-cmd --reload
  systemctl stop firewalld
  systemctl disable firewalld
  

• 执行命令序列
  

12.2.4 修改Hadoop环境配置文件

• 执行命令：vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
  

12.3 配置slave2云主机

12.3.1 设置主机名

• 执行命令：hostnamectl set-hostname slave2
  

12.3.2 设置映射

• 执行命令：vim /etc/hosts
  

12.3.3 防火墙允许新端口

• 命令序列

  systemctl restart firewalld
  firewall-cmd --permanent --add-port=222/tcp
  firewall-cmd --reload
  systemctl stop firewalld
  systemctl disable firewalld
  

• 执行命令序列
  

12.3.4 修改Hadoop环境配置文件

• 执行命令：vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
  

13. 测试Hadoop集群

13.1 启动Hadoop服务

• 执行命令：start-all.sh
  

13.2 创建目录

• 执行命令：hdfs dfs -mkdir /lzy
  

13.2 上传文件

• 执行命令：vim test.txt，创建本地文件
  
• 执行命令：hdfs dfs -put test.txt /lzy
  

13.3 查看文件

• 执行命令：hdfs dfs -ls /lzy，查看文件信息
  
• 执行命令：hdfs dfs -cat /lzy/test.txt，查看文件内容
  

13.5 使用Hadoop WebUI查看

• 访问http://master:9870
  
• 演示文件操作（查看文件、删除文件、删除目录、创建目录、上传文件）
  

14. 实战总结

• 本次云实训完成了完整的Hadoop集群搭建与验证。通过创建网络、路由器、虚拟网卡及云主机，构建了基础云环境，并为三台云主机绑定浮动IP实现远程访问。配置安全组规则、修改hosts文件、设置免密登录，保障了节点间通信与管理便利性。在master节点启动Hadoop服务后，成功通过命令行和WebUI（9870端口）对HDFS进行目录创建、文件上传、查看等操作，验证了集群功能正常。整个过程涵盖了云计算资源管理、网络配置、系统安全与大数据平台部署的核心技能，提升了综合实践能力，为后续分布式系统学习奠定了坚实基础。