当前位置： 首页 > news >正文

Kubernetes高级应用（NFS存储）

news 来源：原创 2025/5/19 20:21:06

一、介绍

在 **Kubernetes（K8s）** 中，**NFS（Network File System）存储** 是一种常见的 **持久化存储（Persistent Storage）** 解决方案，适用于需要共享存储、数据持久化或跨 Pod 访问数据的场景。下面详细介绍 **Kubernetes 高级应用中使用 NFS 存储的作用、实现方式及典型用例**。

---

## **1. NFS 存储的核心作用**
### **(1) 数据持久化（Persistent Storage）**
- Kubernetes Pod 默认是 **临时（Ephemeral）** 的，重启或迁移后数据会丢失。
- **NFS 存储** 允许 Pod 将数据写入远程共享目录，即使 Pod 被删除或重建，数据仍然保留。

### **(2) 共享存储（Shared Storage）**
- 多个 Pod 可以同时挂载同一个 NFS 目录，实现 **跨 Pod 数据共享**（如日志集中存储、配置文件共享等）。

### **(3) 动态存储供给（Dynamic Provisioning）**
- 结合 **StorageClass** 和 **NFS Provisioner**，可以实现 **按需自动创建 NFS PV（Persistent Volume）**，避免手动管理存储。

### **(4) 跨节点数据访问**
- NFS 存储独立于节点，Pod 可以在不同节点上挂载同一份数据，适用于 **StatefulSet、Deployment** 等需要数据一致性的场景。

---

## **2. Kubernetes 如何使用 NFS 存储**
### **(1) 手动静态配置（Static Provisioning）**
适用于已有 NFS 服务器的情况，管理员手动创建 **PV（Persistent Volume）** 和 **PVC（Persistent Volume Claim）**。

#### **步骤示例：**
1. **NFS 服务器端** 配置共享目录（如 `/data/nfs`）：
   ```bash
   # /etc/exports
   /data/nfs *(rw,sync,no_root_squash,no_subtree_check)
   ```
   ```bash
   exportfs -a  # 生效配置
   ```

2. **Kubernetes 创建 PV**：
   ```yaml
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: nfs-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     nfs:
       server: 192.168.1.100  # NFS 服务器 IP
       path: /data/nfs
   ```

3. **Pod 通过 PVC 挂载 NFS**：
   ```yaml
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: nfs-pvc
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 5Gi
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: nfs-pod
   spec:
     containers:
     - name: nfs-container
       image: nginx
       volumeMounts:
       - name: nfs-vol
         mountPath: /usr/share/nginx/html
     volumes:
     - name: nfs-vol
       persistentVolumeClaim:
         claimName: nfs-pvc
   ```

---

### **(2) 动态存储供给（Dynamic Provisioning）**
使用 **NFS Provisioner**（如 `nfs-subdir-external-provisioner`）自动创建 PV。

#### **步骤示例：**
1. **部署 NFS Provisioner**（Helm 方式）：
   ```bash
   helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/
   helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
     --set nfs.server=192.168.1.100 \
     --set nfs.path=/data/nfs
   ```

2. **创建 StorageClass**：
   ```yaml
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: nfs-sc
   provisioner: cluster.local/nfs-subdir-external-provisioner
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   ```

3. **Pod 动态申请 PVC**：
   ```yaml
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: dynamic-nfs-pvc
   spec:
     storageClassName: nfs-sc
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 2Gi
   ```

---

## **3. 典型应用场景**
### **(1) 有状态应用（Stateful Applications）**
- **数据库（MySQL、PostgreSQL）**：NFS 存储可用于存放数据库文件，确保数据不丢失。
- **Redis 持久化**：存储 RDB/AOF 文件。

### **(2) 文件共享服务**
- **Web 静态文件存储**：多个 Nginx Pod 共享同一份 HTML 文件。
- **日志集中存储**：多个 Pod 将日志写入 NFS，便于统一分析。

### **(3) CI/CD 流水线**
- **Jenkins 共享工作目录**：构建产物存储在 NFS，供后续步骤使用。
- **GitLab Runner 缓存**：加速 CI/CD 任务执行。

### **(4) AI/大数据训练**
- **共享数据集**：多个训练 Pod 读取同一份训练数据（如 TensorFlow/PyTorch）。

---

## **4. 优缺点分析**
| **优点** | **缺点** |
|----------|----------|
| ✅ 数据持久化，Pod 重建不丢失 | ❌ 性能较低（网络存储，不如本地 SSD） |
| ✅ 支持多 Pod 共享读写 | ❌ 单点故障（依赖 NFS 服务器高可用） |
| ✅ 跨节点访问，适合分布式应用 | ❌ 需要额外安全配置（如 Kerberos 认证） |
| ✅ 动态供给，减少手动管理 | ❌ 不适合高并发 IO 场景 |

---

## **5. 最佳实践**
1. **NFS 服务器高可用**：使用 DRBD+Keepalived 或云厂商托管 NFS（如 AWS EFS、Azure Files）。
2. **权限控制**：限制 NFS 访问 IP，避免 `no_root_squash` 安全风险。
3. **监控 NFS 性能**：关注网络延迟、IOPS 瓶颈。
4. **备份策略**：定期快照 NFS 数据（如 `rsync` + CronJob）。

---

## **总结**
NFS 存储为 Kubernetes 提供了 **持久化、共享存储** 能力，适用于 **数据库、文件服务、CI/CD、AI 训练** 等场景。结合 **PV/PVC** 或 **动态供给（StorageClass）**，可以灵活管理存储资源。但需注意 **性能瓶颈** 和 **单点故障问题**，生产环境建议结合分布式存储（如 Ceph、GlusterFS）或云存储方案（如 EBS、Azure Disk）。

二、实战部署

[root@master data]# mkdir volume
[root@master data]# pwd
/data
[root@master data]# vi /etc/exports
/data/volume *(rw,no_root_squash)

[root@master data]# exportfs -arv
exporting *:/data/volume

[root@master data]# systemctl restart nfs
[root@master data]# systemctl enable nfs --now
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.

[root@node1 ~]# systemctl restart nfs --now

[root@node2 ~]# systemctl restart nfs --now

[root@node1 ~]# mount nfs服务端IP:/data/volume /test

[root@master k8s-nfs]# cat nginx-nfs.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - name: nfs
          mountPath: /usr/share/nginx/html
      volumes:
      - name: nfs
        nfs:
          server: 192.168.40.180
          path: /data/volume

[root@master volume]# kubectl get pods -owide
NAME                     READY   STATUS    RESTARTS   AGE   IP               NODE    NOMINATED NODE   READINESS GATES
nginx-57c6f9ffbb-hbqm8   1/1     Running   0          42s   10.244.166.160   node1   <none>           <none>
nginx-57c6f9ffbb-j6kz6   1/1     Running   0          42s   10.244.166.159   node1   <none>           <none>
nginx-57c6f9ffbb-w7pw9   1/1     Running   0          42s   10.244.104.20    node2   <none>           <none>
[root@master volume]# curl 10.244.166.160
hello my name is cjr

[root@master volume]# pwd
/data/volume
[root@master volume]# ls
index.html
[root@master volume]# cat index.html
hello my name is cjr

[root@master volume]# kubectl delete pod nginx-57c6f9ffbb-hbqm8
pod "nginx-57c6f9ffbb-hbqm8" deleted
[root@master volume]# kubectl get pods
NAME                     READY   STATUS              RESTARTS   AGE
nginx-57c6f9ffbb-j6kz6   1/1     Running             0          101s
nginx-57c6f9ffbb-w7pw9   1/1     Running             0          101s
nginx-57c6f9ffbb-w9pfz   0/1     ContainerCreating   0          2s
[root@master volume]# kubectl exec -it nginx-57c6f9ffbb-w9pfz -- bash
root@nginx-57c6f9ffbb-w9pfz:/# exit
exit
[root@master volume]# kubectl get pods -owide
NAME                     READY   STATUS    RESTARTS   AGE    IP               NODE    NOMINATED NODE   READINESS GATES
nginx-57c6f9ffbb-j6kz6   1/1     Running   0          2m1s   10.244.166.159   node1   <none>           <none>
nginx-57c6f9ffbb-w7pw9   1/1     Running   0          2m1s   10.244.104.20    node2   <none>           <none>
nginx-57c6f9ffbb-w9pfz   1/1     Running   0          22s    10.244.166.161   node1   <none>           <none>
[root@master volume]# curl 10.244.166.161
hello my name is cjr

### **代码解释：Kubernetes 中使用 NFS 作为持久化存储的完整流程**

这段代码演示了如何在 **Kubernetes（K8s）集群** 中使用 **NFS（Network File System）** 作为持久化存储，并部署一个 **Nginx Deployment**，确保多个 Pod 共享同一份数据。以下是逐步解析：

---

## **1. NFS 服务器端配置**
### **(1) 创建共享目录并配置 NFS**
```bash
[root@master data]# mkdir volume          # 创建共享目录 /data/volume
[root@master data]# pwd                   # 确认当前路径是 /data
/data
[root@master data]# vi /etc/exports       # 编辑 NFS 导出配置
```
在 `/etc/exports` 中添加：
```plaintext
/data/volume *(rw,no_root_squash)  # 允许所有客户端读写，且 root 用户保留权限
```
- `*`：允许所有 IP 访问（生产环境应限制为特定 IP 或网段，如 `192.168.1.0/24`）。
- `rw`：读写权限。
- `no_root_squash`：允许客户端 root 用户直接操作文件（需谨慎使用）。

### **(2) 生效 NFS 配置**
```bash
[root@master data]# exportfs -arv          # 重新加载 NFS 共享配置
exporting *:/data/volume                  # 输出表示共享成功
[root@master data]# systemctl restart nfs  # 重启 NFS 服务
[root@master data]# systemctl enable nfs --now  # 设置开机自启
```

---

## **2. NFS 客户端（K8s Node）挂载测试**
在 `node1` 上手动挂载 NFS，验证共享是否正常：
```bash
[root@node1 ~]# mount 192.168.40.180:/data/volume /test  # 挂载 NFS 到本地 /test
```
- `192.168.40.180` 是 NFS 服务器的 IP。
- 如果挂载成功，说明 NFS 配置正确。

---

## **3. Kubernetes 部署 Nginx 并使用 NFS 存储**
### **(1) 创建 Deployment 配置文件 `nginx-nfs.yaml`**
```yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 3  # 启动 3 个 Pod
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        imagePullPolicy: IfNotPresent  # 如果本地有镜像则不拉取
        volumeMounts:
        - name: nfs
          mountPath: /usr/share/nginx/html  # 将 NFS 挂载到容器内
      volumes:
      - name: nfs
        nfs:
          server: 192.168.40.180  # NFS 服务器 IP
          path: /data/volume     # NFS 共享路径
```
- **关键配置**：
  - `volumeMounts`：将 NFS 挂载到容器的 `/usr/share/nginx/html`（Nginx 默认静态文件目录）。
  - `volumes`：声明使用 NFS 存储，指定服务器和共享路径。

### **(2) 应用 Deployment**
```bash
[root@master k8s-nfs]# kubectl apply -f nginx-nfs.yaml
```

### **(3) 验证 Pod 运行状态**
```bash
[root@master volume]# kubectl get pods -owide
NAME                     READY   STATUS    IP               NODE
nginx-57c6f9ffbb-hbqm8   1/1     Running   10.244.166.160   node1
nginx-57c6f9ffbb-j6kz6   1/1     Running   10.244.166.159   node1
nginx-57c6f9ffbb-w7pw9   1/1     Running   10.244.104.20    node2
```
- 3 个 Pod 分别运行在 `node1` 和 `node2` 上，且均挂载了同一个 NFS 目录。

---

## **4. 验证数据持久化与共享**
### **(1) 在 NFS 服务器上创建测试文件**
```bash
[root@master volume]# echo "hello my name is cjr" > index.html
[root@master volume]# cat index.html
hello my name is cjr
```
- 此文件会通过 NFS 共享给所有 Pod。

### **(2) 通过 Pod 访问数据**
```bash
[root@master volume]# curl 10.244.166.160  # 访问 Pod IP
hello my name is cjr
```
- 所有 Pod 返回相同内容，证明 NFS 存储共享成功。

### **(3) 删除 Pod 测试数据持久化**
```bash
[root@master volume]# kubectl delete pod nginx-57c6f9ffbb-hbqm8
```
Kubernetes 会自动重建 Pod（Deployment 维护 3 个副本）：
```bash
NAME                     READY   STATUS    IP               NODE
nginx-57c6f9ffbb-w9pfz   1/1     Running   10.244.166.161   node1  # 新 Pod
```
再次访问新 Pod：
```bash
[root@master volume]# curl 10.244.166.161
hello my name is cjr
```
- **数据仍然存在**，证明 NFS 存储是持久化的。

---

## **5. 关键点总结**
| 步骤 | 作用 |
|------|------|
| **NFS 服务器配置** | 提供共享存储，允许多个节点读写同一目录。 |
| **Deployment 挂载 NFS** | 确保所有 Pod 共享同一份数据（如配置文件、静态资源）。 |
| **`imagePullPolicy: IfNotPresent`** | 优先使用本地镜像，加速 Pod 启动。 |
| **数据持久化** | 即使 Pod 重建，NFS 中的数据不会丢失。 |

---

## **6. 生产环境建议**
1. **NFS 高可用**  
   - 使用 `DRBD + Keepalived` 或云厂商托管存储（如 AWS EFS、Azure Files）。
2. **权限控制**  
   - 限制 NFS 访问 IP（如 `192.168.1.0/24`），避免使用 `no_root_squash`。
3. **动态存储供给**  
   - 结合 `StorageClass` + `NFS Provisioner` 实现按需分配 PV。
4. **备份策略**  
   - 定期备份 NFS 数据（如 `rsync` + CronJob）。

---

通过以上流程，你成功实现了 **Kubernetes 使用 NFS 作为持久化共享存储**，适用于需要跨 Pod 数据一致性的场景（如 Web 静态文件、日志集中存储等）。

相关文章：

  • 机器人基础知识-1
  • java学习+题解
  • 面试遇到的几个问题小记20250401
  • 【学习记录】pytorch载入模型的部分参数
  • 蓝桥杯省模赛 台阶方案
  • 微信登录、商品浏览前瞻
  • 简单版CentOS7配置haproxy
  • PyTorch 深度学习实战（31）：可解释性AI与特征可视化
  • 数据层的基本操作(2)
  • 如何将生活场景转换为数据模型模型仿真？
  • MSSQL：模拟故障
  • 基于 Spring Boot 的项目模板搭建指南
  • linux如何与windows进行共享文件夹开发，不用来回用git进行拉来拉去，这个对于swoole开发者来说特别重要
  • 自然语言处理（27:（终章Attention 3.）Attention的评价)
  • Linux Vim 编辑器的使用
  • 在线转换ico格式工具,给qt生成的exe添加桌面图标
  • Java 基础-28- 多态 — 多态下的类型转换问题
  • 4月01日，每日信息差
  • Pytorch学习笔记（十九）Image and Video - Spatial Transformer Networks Tutorial
  • 标题：利用 Rork 打造定制旅游计划应用程序：一步到位的指南
  • 海南省检察院专委李思阳被带走，去年曾遭人举报违规插手案件
  • 墨海军训练舰在纽约撞桥，墨总统：对遇难者表示悲痛，将跟进调查
  • 人民日报和音：相信中国就是相信明天
  • 陈刚：推动良好政治生态和美好自然生态共生共优相得益彰
  • 杨建全已任天津市委副秘书长、市委市政府信访办主任
  • 朝鲜称将在各领域采取反制措施，应对美国敌对挑衅