gpfs的安装配置与部署
一、系统准备
1. 环境要求
- 操作系统：
- RHEL 7.4/7.5/7.6/8.x、SUSE Linux Enterprise Server 12/15 等。
- 所有节点需保持相同内核版本（
uname -r检查）。
- 硬件：
- 至少 3 个节点（1 个管理节点 + 2 个数据节点）。
- 每节点至少 2 块磁盘（1 块系统盘，1 块用于 GPFS 数据）。
- 双网卡（管理网络：192.168.1.0/24，数据网络：10.0.0.0/24）。
2. 基础配置
# 1. 关闭防火墙和SELinux
systemctl disable --now firewalld
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # 2. 配置主机名解析（所有节点）
cat >> /etc/hosts << EOF
192.168.1.101 node1.mygpfs.com node1
192.168.1.102 node2.mygpfs.com node2
192.168.1.103 node3.mygpfs.com node3
EOF # 3. 配置NTP时间同步（所有节点）
yum install ntp -y
systemctl enable --now ntpd
ntpdate time.nist.gov 二、GPFS 软件安装
1. 上传并解压安装包
# 以GPFS 5.1.3为例
mkdir /opt/gpfs && cd /opt/gpfs
tar -zxvf Spectrum_Scale_Advanced-5.1.3.0-x86_64-Linux-install.tar.gz
cd Spectrum_Scale_Advanced-5.1.3.0-x86_64-Linux-install 2. 预检查与安装
# 1. 预检查（所有节点）
./prep-gpfs -a -n node1,node2,node3 # 2. 安装服务器组件（管理节点和数据节点）
./install-gpfs -a -n node1,node2,node3 # 3. 安装客户端组件（仅客户端节点）
./install-gpfs -c -n client1,client2 三、集群初始化与配置
1. 创建集群配置文件
# 在管理节点（node1）创建cluster.conf
cat > /tmp/cluster.conf << EOF
cluster { clusterName="mygpfs" node { nodeName=node1 quorumNode=1 adminNode=1 nsServerNode=1 nodeAddr=192.168.1.101 nodeId=1 interface { interfaceName=eth0 ipAddr=192.168.1.101 subnetMask=255.255.255.0 } interface { interfaceName=eth1 ipAddr=10.0.0.101 subnetMask=255.255.255.0 } } # 重复配置node2和node3（修改nodeName、nodeAddr、nodeId等）
}
EOF 2. 初始化集群
# 在管理节点执行
mmcrcluster -c /tmp/cluster.conf -N node1,node2,node3
mmstartup -a # 启动所有节点的GPFS服务
mmgetstate -a # 检查节点状态 四、存储配置与文件系统创建
1. 定义存储池和设备
# 假设每节点有/data1磁盘分区
mmcrpool gpfsfstest-data -N all
mmcrdev -v yes -P gpfsfstest-data /dev/sdb 2. 创建并挂载文件系统
# 创建文件系统（RAID-0，条带大小256KB）
mmcrfs gpfsfstest -F -A yes -Q yes \ -r 0 -R 0 -s 256K -m 2 -M 2 \ -B 4K -T /gpfs/gpfsfstest # 挂载文件系统（所有节点）
mmmount gpfsfstest -a 五、验证与测试
# 1. 检查文件系统状态
mmlsmount gpfsfstest -L # 2. 创建测试文件
echo "Hello GPFS" > /gpfs/gpfsfstest/test.txt # 3. 验证数据冗余（如使用RAID-1）
mmrepquorum gpfsfstest 六、客户端访问配置
# 1. 客户端节点安装GPFS客户端
yum install gpfs.gskit gpfs.clients -y # 2. 配置自动挂载（/etc/fstab）
node1:/gpfs/gpfsfstest /mnt/gpfs nfs4 defaults 0 0 # 3. 挂载文件系统
mount /mnt/gpfs七、高级配置建议
-
性能优化
# 调整条带参数（根据应用IO特性）
mmchfs gpfsfstest -B 8K # 块大小8KB 2.数据备份
# 定期创建文件系统快照
mmcrsnapshot gpfsfstest daily_snap 3.监控与维护
# 查看系统健康状态
mmhealth node show八、常见问题排查
-
节点无法加入集群：
- 检查 SSH 密钥是否正确分发（
mmkeyserv status）。 - 确认防火墙规则（开放 TCP 10111-10120 端口）。
- 检查 SSH 密钥是否正确分发（
-
文件系统挂载失败：
- 检查
mmgetstate状态，确保所有节点正常。 - 查看
/var/adm/ras/mmfs.log.latest日志。
- 检查
-
性能问题：
- 使用
mmperfmon工具分析 IO 模式。 - 调整
mmchfs参数优化条带策略。
- 使用