当前位置：首页 > news >正文

(一) 本地hadoop虚拟机系统设置

news 来源：原创 2025/5/21 5:33:04

1.配置固定IP地址（每一台都配置）

开启node1，修改主机名为node1，并修改固定IP为：192.168.88.131

# 修改主机名
hostnamectl set-hostname node1# 修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131"# 重启网卡
systemctl stop network
systemctl start network
# 直接重启
systemctl restart network

同样的操作启动node2，node3

修改node2主机名为node2，设置ip为192.168.88.132

修改node3主机名为node3，设置ip为192.168.88.133

2.配置主机名映射（每一台都配置）

# 在windows中修改hosts文件("C:/Windows/System32/drivers/etc/hosts")
192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3
# 在3台linux的/etc/hosts文件中，填入如下内容（3台都要添加）
192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

3.配置SSH免密登录（每一台都配置）

# 在每一台机器都执行
ssh-keygen -t rsa -b 4096# 在每一台机器都执行（ssh-copy-id [选项] [用户名@]远程主机地址）
# 如果直接使用 ssh-copy-id 域名（不指定用户名），命令会默认使用当前本地用户名作为远程服务器的目标用户名。
ssh-id-copy node1
ssh-id-copy node2
ssh-id-copy node3
# 执行完毕后，node1、node2、node3之间将完成root用户之间的免密登录

4.创建hadoop用户并配置免密登录（每一台都配置）

后续大数据的软件，将不会以root用户启动(确保安全，养成良好的习惯)。

我们为大数据的软件创建一个单独的用户hadoop，并为三台服务器同样配置hadoop用户的免密互通

# 创建hadoop用户
useradd hadoop
passwd hadoop

后续执行3.配置SSH免密登录

5.JDK环境部署（默认使用jdk1.8，每一台都部署）

jdk-8u202-linux-x64.tar.gz软件包链接: https://pan.baidu.com/s/15Ll3Hg-XmNHjMo57L4fStg?pwd=s7bh

# 1.创建文件夹，用来部署jdk，都部署到：/export/server中
mkdir -p /export/server# 2.解压缩jdk安装文件
tar -zxvf jdk-8u202-linux-x64.tar.gz -C /export/server# 3.配置jdk的软链接
ln -s /export/server/jdk-8u202-linux-x64.tar.gz /export/server/jdk# 4.配置JAVA_HOME环境变量，并将JAVA_HOME/bin添加到PATH环境变量中
vim /etc/profile
export JAVA_HOME=/export/servers/jdk
export PATH=$JAVA_HOME/bin:$PATH# 5.生效环境变量
source /etc/profile# 6.配置java执行程序的软连接
rm -f /usr/bin/java		# 删除系统自带的java程序
ln -s /export/servers/jdk/bin/java /usr/bin/java	# 软链接我们自己安装的java程序# 7.验证
java -version
javac -version

6.关闭防火墙和SELinux（每一台都配置）

# 集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙
systemctl stop firewalld
systemctl disable firewalld# Linux有一个安全模块:SELinux，用以恨制用户和程序的相关权限，来确保系统的安全稳定。在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可.
vim /etc/sysconfig/selinux
# 将第七行，SELINUX=enforcing 改为
SELINUX=disabled
# 保存退出后，重启虚拟机即可，千万要注意disabled单词不要写错，不然无法启动系统

7.修改时区并配置时间同步（每一台都配置）

替换yum源为阿里镜像源

# 备份原有的 yum 源配置
sudo cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 
#下载阿里云的 CentOS 镜像配置文件
sudo curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo 
# 更新缓存
sudo yum clean all 	
sudo yum makecache

# 1.安装ntp软件
yum install -y ntp# 2.更新时区
rm -f /etc/localtime
sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime# 3.同步时间
ntpdate -u ntp.aliyun.com# 4.开启ntp服务并设置开机自启
systemctl start ntpd
systemctl enable ntpd