GlusterFS 分布式文件系统深度解析

一、GlusterFS 概述

（一）GlusterFS 简介

GlusterFS 是一个开源的分布式文件系统，作为 Scale-Out 存储解决方案 Gluster 的核心，具备强大的横向扩展能力，通过增加节点可支持数 PB 级的存储容量。它借助 TCP/IP 或 InfiniBand RDMA 网络，将分散的存储资源汇聚，以单一全局命名空间管理数据，基于可堆叠的用户空间和无元设计，为不同数据负载提供优异性能。

其架构主要由存储服务器（Brick Server）、客户端及可选的 NFS/Samba 存储网关组成。最大设计特点是没有元数据服务器组件，这有效提升了系统的性能、可靠性和稳定性。传统分布式文件系统多依赖元数据服务器存储元数据，存在单点故障风险，而 GlusterFS 基于无元服务器设计，数据横向扩展能力强，可靠性和存储效率高。它支持 TCP/IP 和 InfiniBand RDMA 高速网络互联，客户端可通过原生协议访问，其他终端也可借助 NFS/CIFS 标准协议经存储网关访问。

（二）GlusterFS 的特点

1. 扩展性和高性能：采用 Scale-Out 架构，通过增加存储节点提高存储容量和性能，支持 10GbE 和 InfiniBand 等高速网络。弹性哈希算法解决了对元数据服务器的依赖，能智能定位数据分片，实现存储横向扩展，改善单点故障和性能瓶颈，实现并行化数据访问。
2. 高可用性：通过配置特定存储卷可自动复制文件，类似 RAID1，节点故障不影响数据访问，数据不一致时自动修复功能以增量方式后台执行，不占用过多系统资源。采用标准磁盘文件系统存储文件，数据可通过传统方式访问。
3. 全局统一命名空间：将所有存储资源聚成单一虚拟存储池，屏蔽物理存储信息，可弹性扩展或收缩，在多节点场景中基于不同节点做负载均衡，提高存取效率。
4. 弹性卷管理：数据存储在逻辑卷中，逻辑卷从逻辑存储池独立划分，存储池可在线增加和移除，不中断业务，逻辑卷可在线增长和缩减，实现负载均衡，文件系统配置可实时更改应用。
5. 基于标准协议：支持 NFS、CIFS、HTTP、FTP、SMB 及原生协议，与 POSIX 标准兼容，现有应用无需修改即可访问数据，也可使用专用 API，在公有云部署时很有用。

（三）GlusterFS 术语

1. Brick（存储块）：可信主机池中主机提供的专用存储分区，是基本存储单元，格式为 SERVER:EXPORT，如 192.168.1.4:/data/mydir/。
2. Volume（逻辑卷）：一组 Brick 的集合，是数据存储的逻辑设备，类似 LVM 中的逻辑卷，大部分管理操作在卷上进行。
3. FUSE（Filesystem in Userspace）：内核模块，允许用户创建自己的文件系统，无需修改内核代码。
4. VFS：内核空间向用户空间提供的访问磁盘接口。
5. Glusterd（后台管理进程）：存储群集中每个节点都需运行。

（四）模块化堆栈式架构

GlusterFS 采用模块化、堆栈式架构，可根据需求配置定制化应用环境，如大文件存储、海量小文件存储等。通过模块组合实现复杂功能，如 Replicate 模块实现 RAID1，Stripe 模块实现 RAID0，组合实现 RAID10 和 RAID01。

模块称为 Translator，是 GlusterFS 提供的强大机制，借助良好定义的接口可高效扩展文件系统功能。服务端与客户端设计高度模块化且接口兼容，同一 translator 可在两端加载，所有功能通过 translator 实现，客户端比服务端复杂，功能重点在客户端。

二、GlusterFS 的工作原理

（一）GlusterFS 的工作流程

1. 客户端或应用程序通过 GlusterFS 的挂载点访问数据。
2. Linux 系统内核通过 VFS API 收到请求并处理。
3. VFS 将数据递交给 FUSE 内核文件系统，FUSE 文件系统通过 /dev/fuse 设备文件将数据递交给 GlusterFS 客户端，FUSE 可理解为代理。
4. GlusterFS 客户端收到数据后，根据配置文件处理。
5. 处理后通过网络将数据传递至远端 GlusterFS Server，写入服务器存储设备。

（二）弹性 HASH 算法

弹性 HASH 算法是 Davies-Meyer 算法的实现，通过 HASH 算法得到 32 位整数范围的 hash 值。假设逻辑卷中有 N 个存储单位 Brick，32 位整数范围划分为 N 个连续子空间，每个空间对应一个 Brick。用户访问命名空间时，计算其 HASH 值，根据值对应的空间定位数据所在 Brick。

其优点是保证数据平均分布在每个 Brick 中，解决了对元数据服务器的依赖，进而解决单点故障及访问瓶颈。例如创建包含四个 Brick 节点的卷，Brick 挂载目录会平均分配 2³² 的区间范围空间，HASH 分布区间保存在目录扩展属性上。访问文件时，通过 Hash 函数计算 HASH 值，对应子空间散列到服务器 Brick 上。

三、GlusterFS 的卷类型

GlusterFS 支持七种卷，满足不同应用对高性能、高可用的需求：

1. 分布式卷（Distribute volume）：文件通过 HASH 算法分布到所有 Brick Server，是基础卷，类似文件级 RAID 0，扩大磁盘空间但无容错能力，一块磁盘损坏数据丢失。创建时默认类型，文件直接存储在某节点，使用本地文件系统，存取效率可能因网络通信降低，支持超大型文件有难度。特点是文件分布在不同服务器，无冗余，易扩展卷大小，存在单点故障，依赖底层数据保护。
2. 条带卷（Stripe volume）：类似 RAID0，文件分成数据块轮询分布到多个 Brick Server，以数据块为单位，支持大文件存储，文件越大读取效率越高。配置时条带数必须等于卷中 Brick 的存储服务器数，存储大文件性能突出，无冗余性。
3. 复制卷（Replica volume）：将文件同步到多个 Brick，有多个副本，类似文件级 RAID 1，具容错能力。读性能提升但写性能下降，配置时复制数等于卷中 Brick 的存储服务器数，总容量按木桶效应取最低节点容量，具备冗余性，节点损坏不影响数据使用。
4. 分布式条带卷（Distribute Stripe volume）：兼具分布式卷和条带卷特点，Brick Server 数量是条带数的倍数，用于大文件访问处理，创建至少需要 4 台服务器。
5. 分布式复制卷（Distribute Replica volume）：兼具分布式卷和复制卷特点，用于需要冗余的情况，Brick Server 数量是镜像数的倍数。
6. 条带复制卷（Stripe Replica volume）：类似 RAID 10，同时具有条带卷和复制卷的特点。
7. 分布式条带复制卷（Distribute Stripe Replicavolume）：三种基本卷的复合卷，通常用于类 Map Reduce 应用。

四、部署 GlusterFS 群集

（一）部署群集环境

准备五台虚拟机，按表配置分区，关闭防火墙和 Selinux，Node1 到 Node4 节点分配 4GB 内存，客户端节点分配 4GB 内存，各节点通过 VMware 虚拟网络 Vmnet8 连接。

部署步骤如下：

1. 准备环境：开启虚拟机，添加磁盘，用 fdisk 创建分区，mkfs 格式化，创建挂载目录并挂载，修改 /etc/fstab 配置文件使其永久生效。
2. 关闭防火墙和 Selinux：在所有节点操作。
3. 配置 hosts 文件：在所有节点修改 /etc/hosts 文件，添加节点解析。
4. 安装软件：采用官方 YUM 源安装所需软件。
5. 启动 GlusterFS：在所有节点启动 glusterd 服务并设置为开机自启。
6. 添加节点：在 node1 上添加 node1~node4 节点。
7. 查看群集状态：在每个节点查看，正常时状态为 “State: Peer in Cluster (Connected)”。

（二）创建卷

根据生产环境需求创建合适的卷：

1. 创建分布式卷：使用命令创建，不指定类型默认创建分布式卷，创建后启动。
2. 创建条带卷：指定类型为 stripe 及数值，后面跟相应数量的 Brick Server。
3. 创建复制卷：指定类型为 replica 及数值，后面跟相应数量的 Brick Server。
4. 创建分布式条带卷：指定类型为 stripe 及数值，后面跟条带数倍数的 Brick Server。
5. 创建分布式复制卷：指定类型为 replica 及数值，后面跟复制数倍数的 Brick Server。

（三）部署 Gluster 客户端

1. 安装客户端软件：在客户端安装 glusterfs 和 glusterfs-fuse。
2. 创建挂载目录：创建用于挂载不同卷的目录。
3. 修改 hosts 文件：添加节点解析。
4. 挂载 Gluster 文件系统：使用 mount 命令挂载不同卷到相应目录，挂载后检查，若不成功检查 hosts 解析。
5. 修改 fstab 配置文件：将挂载命令添加到 fstab 文件，实现开机自动挂载。

（四）测试 Gluster 文件系统

1. 卷中写入文件：复制文件到不同卷的挂载目录。
2. 查看文件分布：在各节点查看不同卷中文件的分布情况，了解不同卷的存储特点。
3. 破坏性测试：挂起部分节点，测试不同卷在节点故障时的数据访问情况，验证卷的冗余性和容错能力。

（五）其他的维护命令

1. 查看 GlusterFS 卷：使用命令查看卷的列表、信息和状态。
2. 停止 / 删除卷：停止和删除卷的命令及操作。
3. 设置卷的访问控制：设置卷的访问权限，允许特定网段的客户端访问。

GlusterFS 分布式文件系统通过无元数据服务器设计、弹性哈希算法和多种卷类型，实现了高扩展性、高性能和高可用性，在企业存储场景中具有广泛的应用前景。通过合理部署和配置，可满足不同业务对存储的需求。