当前位置：首页 > news >正文

kubernetes-使用ceph-csi

news 来源：原创 2025/5/1 19:48:58

kubernetes-使用ceph-csi

Kubernetes （简称K8s）和Ceph都是开源的云计算技术，K8s是一个容器编排平台，而Ceph是一个分布式存储系统。将K8s和Ceph集成在一起可以为应用程序提供高可用性和持久性存储。本文主要介绍如何在使用openEuler 22.03操作系统的鲲鹏服务器上操作K8s集成Ceph。
在这里插入图片描述

Ceph是一个可靠的、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。Ceph提供统一的横向扩展存储，带有自我修复和智能预测故障的功能，已经成为软件定义存储的事实上的标准之一。

Ceph是开源的，它使许多供应商能够提供基于Ceph的软件去定义合适的存储系统。K8s是用于自动部署、扩展和管理容器化（Containerized）应用程序的开源系统。它旨在提供“跨主机集群的自动部署、扩展以及运行应用程序容器的平台”。因各个项目集群在部署时对存储的需求各有差异，使用Ceph作为统一储存，则在确保可靠性的同时又能具备相应的灵活性，将计算与存储解耦与K8s灵活的部署方式相得益彰。

这里主要讲解集成使用ceph rbd 功能

1. 创建 rbd pool

rbd 块存储于ceph pool中，所以需要创建一个pool 用于存储后续的pv disk

#ceph osd pool create kubernetes
#rbd pool init kubernetes

2. 配置ceph-csi

ceph 如果需要通过cephx认证的情况下，需要创建config map 传递 ceph config 以及secret。如果不开启cephx，下面的cephx改成none即可。

# cat <<EOF > ceph-config.yaml
---
apiVersion: v1
kind: ConfigMap
data:ceph.conf: |[global]auth_cluster_required = cephxauth_service_required = cephxauth_client_required = cephx# keyring is a required key and its value should be emptykeyring: |
metadata:name: ceph-config
EOF

# kubectl apply -f ceph-config.yaml

配置ceph monitor

# cat <<EOF > csi-config-map.yaml
---
apiVersion: v1
kind: ConfigMap
data:ceph.conf: |[{"clusterID":"80451321eeqeqw-eqeq-eqeq-eqeqewqeq-dqeq-eqe","monitors":["10.220.134.7:6789","10.220.134.43:6789","10.220.130.200:6789"]}]
metadata:name: ceph-csi-config
EOF

# kubectl apply -f csi-config-map.yaml

3. 配置cephx

配置cephx的账号和密码（ceph auth 的账号和密码在ceph侧自行生成即可，当然如果不开启cephx的情况下，这里userID和userKey随便填就行）

#cat <<EOF > csi-rbd-secret.yaml
---
apiVersion: v1
kind: Secret
metadata:name: csi-rbd-secretnamespace: default
stringData:userID: kubernetesuserKey: AQD9o0Fd6hQRChAAt7fMaSZXduT3NWEqylNpmg==
EOF

# kubectl apply -f csi-rbd-secret.yaml

3. 配置ceph-csi

3.1 选择和ceph、kubernetes版本对应的ceph-csi版本

#ceph -v
ceph version 14.2.22

# kubectl version
Client Version: v1.31.4
Kustomize Version: v5.4.2
Server Version: v1.31.4

3.2 选择对应的ceph-csi版本

这里选择使用ceph-csi v3.7.2 , 和用的ceph 和kubernetes匹配

#git clone -b v3.7.2 https://github.com/ceph/ceph-csi.git
#cd ceph-csi/deploy/rbd/kubernetes

配置访问Kubernetes API对象的ServiceAccount和RBAC

#kubectl apply -f csi-provisioner-rbac.yaml 
#kubectl apply -f csi-nodeplugin-rbac.yaml

部署csi 程序与节点插件

修改 csi-rbdplugin.yaml 和 csi-rbdplugin-provisioner.yaml，注释掉csi-rbdplugin.yaml和csi-rbdplugin-provisioner.yaml文件中kms相关内容

#kubectl apply -f csi-rbdplugin.yaml 
#kubectl apply -f csi-rbdplugin-provisioner.yaml

4. 检查

# kubectl get pods -o wide
NAME                                         READY   STATUS    RESTARTS   AGE     IP              NODE    NOMINATED NODE   READINESS GATES
csi-rbdplugin-2xb7k                          3/3     Running   0          2m34s   172.22.2.55     node3   <none>           <none>
csi-rbdplugin-k6wjl                          3/3     Running   0          2m34s   172.22.4.4      node1   <none>           <none>
csi-rbdplugin-provisioner-7586c58d96-26rjk   7/7     Running   0          2m30s   10.233.65.112   node2   <none>           <none>
csi-rbdplugin-provisioner-7586c58d96-7kfxx   7/7     Running   0          2m30s   10.233.64.124   node1   <none>           <none>
csi-rbdplugin-provisioner-7586c58d96-qn4jl   7/7     Running   0          2m30s   10.233.66.161   node3   <none>           <none>
csi-rbdplugin-vv7ds                          3/3     Running   0          2m34s   172.22.3.50     node2   <none>           <none>

参考：

https://docs.ceph.com/en/latest/rbd/rbd-kubernetes/

https://www.hikunpeng.com/document/detail/zh/kunpengcpfs/ecosystemEnable/Kubernetes/kunpengk8sceph_04_0008.html