SPDK NVMe of RDMA 部署
使用SPDK NVMe of RDMA 实现多NVMe设备共享
一、编译、安装spdk
1.1、下载
1.1.1 下载spdk源码
首先，我们需要从GitHub上克隆SPDK的源码仓库。打开终端，输入以下命令：
git clone -b v22.01 https://github.com/spdk/spdk.git
cd spdk
1.1.2 下载子模块
接下来，我们需要初始化并更新SPDK的子模块。
git submodule update --init
1.1.3 安装依赖
为了确保编译过程顺利进行，我们需要安装SPDK所需的依赖项。运行以下命令来自动安装这些依赖：
sudo ./scripts/pkgdep.sh
1.1.4 编译
现在，我们开始编译SPDK。
./configure --with-rdma --with-shared
sudo make
1.1.5 执行单元测试
编译完成后，我们需要运行单元测试来验证SPDK是否安装成功。
./test/unit/unittest.sh
最后如果输出 all unit test passed，代SPDK安装成功
1.2、配置设备
1.2.1 绑定设备
在开始之前，我们需要将NVMe设备绑定到SPDK。运行以下命令来完成绑定：
sudo scripts/setup.sh# 正确结果：
# 0000:0b:00.0 (15ad 07f0): nvme -> uio_pci_generic# 查看状态
sudo ./scripts/setup.sh status# 解绑设备
sudo ./scripts/setup.sh reset
0000:b4:00.0 和 0000:b5:00.0是设备编号，下面会用到
二、服务端配置
- 启动 nvmf_tgt
在服务端，我们需要启动nvmf_tgt来提供NVMe over Fabrics服务。打开一个新的终端，运行以下命令：
build/bin/nvmf_tgt
终端将输出类似以下的内容：
[zhousk@slave02 spdk]$ build/bin/nvmf_tgt -i 0
[2025-04-28 19:26:00.347292] Starting SPDK v22.01 git sha1 47737f1 / DPDK 21.11.0 initialization...
[2025-04-28 19:26:00.347451] [ DPDK EAL parameters: [2025-04-28 19:26:00.347487] nvmf [2025-04-28 19:26:00.347515] -c 0x1 [2025-04-28 19:26:00.347543] --log-level=lib.eal:6 [2025-04-28 19:26:00.347567] --log-level=lib.cryptodev:5 [2025-04-28 19:26:00.347623] --log-level=user1:6 [2025-04-28 19:26:00.347651] --base-virtaddr=0x200000000000 [2025-04-28 19:26:00.347709] --match-allocations [2025-04-28 19:26:00.347737] --file-prefix=spdk0 [2025-04-28 19:26:00.347789] --proc-type=auto [2025-04-28 19:26:00.347815] ]
EAL: No available 1048576 kB hugepages reported
EAL: No free 2048 kB hugepages reported on node 1
TELEMETRY: No legacy callbacks, legacy socket not created
[2025-04-28 19:26:00.532151] app.c: 601:spdk_app_start: *NOTICE*: Total cores available: 1
[2025-04-28 19:26:00.673833] reactor.c: 943:reactor_run: *NOTICE*: Reactor started on core 0
[2025-04-28 19:26:00.673911] accel_engine.c: 510:spdk_accel_engine_initialize: *NOTICE*: Accel engine initialized to use software engine.
- 在另一个终端，使用rpc.py脚本来配置NVMe over Fabrics
# 1. 启动 RDMA
scripts/rpc.py nvmf_create_transport -t RDMA -u 8192 -i 131072 -c 8192# 2. 将 NVMe 控制器附加到 SPDK 的块设备层
# 0000:b4:00.0 是上文的 BDF
./scripts/rpc.py bdev_nvme_attach_controller -b NVMe1 -t PCIe -a 0000:b4:00.0
# output: NVMe1n1# 3. 创建 subsystem
# cnode1、SPDK00000000000001 可以自定义
./scripts/rpc.py nvmf_create_subsystem nqn.2016-06.io.spdk:cnode1 -a -s SPDK00000000000001 -d SPDK_Controller1# 4. 添加 namespace
./scripts/rpc.py nvmf_subsystem_add_ns nqn.2016-06.io.spdk:cnode1 NVMe1n1
# NVMe1n1 是 2 中的输出# 5. 添加监听
# -a 是本机 ip，-s 是端口，可修改
./scripts/rpc.py nvmf_subsystem_add_listener nqn.2016-06.io.spdk:cnode1 -t rdma -a 192.168.200.202 -s 4420 -f ipv4# 获取 subsystem 信息
./scripts/rpc.py nvmf_get_subsystems# 下面是删除操作（可选）# 删除 subsystem
./scripts/rpc.py nvmf_delete_subsystem nqn.2016-06.io.spdk:cnode1
# 删除 ns
# ns_id 通过 nvmf_get_subsystems 获取
./scripts/rpc.py nvmf_remove_ns <nsid>
# 移除监听
./scripts/rpc.py nvmf_subsystem_remove_listener nqn.2016-06.io.spdk:cnode1 -t rdma -a 192.168.200.202 -s 4420
- 获取 subsystem 信息
./scripts/rpc.py nvmf_get_subsystems
输出下面这些信息
[{"nqn": "nqn.2014-08.org.nvmexpress.discovery","subtype": "Discovery","listen_addresses": [],"allow_any_host": true,"hosts": []},{"nqn": "nqn.2016-06.io.spdk:cnode1","subtype": "NVMe","listen_addresses": [{"transport": "RDMA","trtype": "RDMA","adrfam": "IPv4","traddr": "192.168.200.202","trsvcid": "4420"}],"allow_any_host": true,"hosts": [],"serial_number": "SPDK00000000000001","model_number": "SPDK_Controller1","max_namespaces": 32,"min_cntlid": 1,"max_cntlid": 65519,"namespaces": [{"nsid": 1,"bdev_name": "NVMe1n1","name": "NVMe1n1","nguid": "35354A30581000030025384700000003","uuid": "35354a30-5810-0003-0025-384700000003"}]}
]
此时 nvmf_tgt 显示
[2025-04-28 19:26:24.621233] rdma.c:2668:nvmf_rdma_listen: NOTICE: *** NVMe/RDMA Target Listening on 192.168.200.202 port 4420 ***
这样就完成了！！！
三、客户端配置
在客户端，我们可以使用SPDK自带的测试工具来验证NVMe over Fabrics的配置是否成功。
./build/examples/perf -r 'trtype:RDMA adrfam:IPv4 traddr:192.168.200.202 trsvcid:4420' -q 128 -o 4096 -w read -t 10
