RDMA高性能网络通信实践

一、背景介绍

远程直接内存访问（RDMA）技术通过绕过操作系统内核和CPU直接访问远程内存，实现了超低延迟、高吞吐量的网络通信。该技术广泛应用于高性能计算、分布式存储和机器学习等领域。本文通过一个完整的代码示例，演示如何利用RDMA核心组件（QP、MR、CQ等）实现跨节点内存直接读写。

二、方法设计

A.实现方案

1. 控制平面：使用TCP协议交换RDMA连接参数
2. 数据平面：基于IB Verbs接口实现零拷贝传输
3. 混合模式：客户端主动写入，服务端被动读取

B.关键技术点

• 内存注册机制实现安全访问
• QP状态机转换确保通信可靠性
• 完成队列轮询实现异步通知
• 端到端流控通过TCP协议实现

三、代码及注释

/*----------------------------- 头文件包含 -----------------------------*/
// 标准库和网络相关头文件
#include <netdb.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/socket.h>
#include <unistd.h>
#include <assert.h>
#include <errno.h>
#include <sys/time.h>
#include <byteswap.h>// RDMA相关头文件
#include <arpa/inet.h>
#include <infiniband/verbs.h>#ifdef USE_VACC
#include "vaccrt.h"
#include <vaccrt_mem_management.h>
#endif#ifdef USE_CUDA
#include <cuda.h>
#include <cuda_runtime.h>
#endif/**********************************************************************A.关键概念解释：1.保护域（PD）：资源隔离单元，所有资源（QP、MR等）必须属于某个PD2.内存区域（MR）：注册的内存区域，只有注册的内存才能用于RDMA操作3.队列对（QP）：包含发送队列和接收队列，是通信的基本单元4.工作请求（WR）：描述要执行的操作（发送/接收/RDMA读写）5.完成队列（CQ）：用于通知操作完成状态6.QP状态转换：a.INIT：初始状态，设置基本参数b.RTR（Ready to Receive）：准备好接收数据c.RTS（Ready to Send）：准备好发送数据B.程序流程总结：1.通过TCP交换RDMA连接参数2.初始化IB资源（PD、CQ、MR、QP）3.交换QP信息（地址、密钥等）4.进行QP状态转换（INIT->RTR->RTS）5.执行RDMA写/读操作6.轮询完成队列确认操作完成7.清理资源C.使用说明:1.编译命令: gcc -o cuda -DUSE_CUDA -ggdb main.c -pthread -libverbs \-I /usr/local/cuda/include \-L /usr/local/cuda/lib64 -Wl,-rpath=/usr/local/cuda/lib64 \-lcudart -lcudadevrt -lcuda  2.服务端  : ./cuda 192.168.1.100 mlx5_03.客户端  : ./cuda 192.168.1.101 mlx5_0 192.168.1.100 ***********************************************************************//*----------------------------- 全局配置 -----------------------------*/
#define MAX_POLL_CQ_TIMEOUT 6000    // CQ轮询超时时间（毫秒）
#define MSG "Hello,World"           // 要传输的测试消息
#define MSG_SIZE (64<<10)// 配置参数结构体
struct config {const char *dev;      // IB设备名称char *local_addr;     // 本地IP地址u_int32_t port;       // TCP端口号int ib_port;          // IB端口号（默认1）int gid_idx;          // GID索引（-1表示不使用RoCEv2）
} config = { NULL, NULL, 12025, 1, -1 };/*----------------------------- 资源结构体 -----------------------------*/
// 包含所有RDMA相关资源
struct resources {struct ibv_context *ctx;        // IB上下文struct ibv_pd *pd;              // 保护域（Protection Domain）struct ibv_cq *cq;              // 完成队列（Completion Queue）struct ibv_qp *qp;              // 队列对（Queue Pair）struct ibv_mr *mr;              // 内存区域（Memory Region）void *buf;                      // 数据缓冲区指针int sock;                       // TCP套接字uint64_t remote_addr;           // 远程内存地址uint32_t remote_rkey;           // 远程内存访问密钥struct ibv_port_attr port_attr; // IB端口属性
};/*----------------------------- 辅助函数 -----------------------------*/
/*** 建立TCP连接（客户端）或监听（服务端）* @param server 本地地址（服务端模式时使用）* @param port TCP端口号* @param remote_addr 远程地址（客户端模式时使用）* @return 成功返回套接字fd，失败返回-1*/
int sock_connect(const char *server, int port,const char *remote_addr) {struct addrinfo hints = { .ai_family = AF_INET, .ai_socktype = SOCK_STREAM };struct addrinfo *res, *p;int sock = -1;char port_str[6];const char * p_addr=server;if(remote_addr) p_addr=remote_addr;sprintf(port_str, "%d", port);if (getaddrinfo(p_addr, port_str, &hints, &res)) return -1;for (p = res; p; p = p->ai_next) {sock = socket(p->ai_family, p->ai_socktype, p->ai_protocol);int reuse = 1;if(setsockopt(sock, SOL_SOCKET, SO_REUSEADDR, &reuse, sizeof(reuse))) return -1;        if (sock < 0) continue;if (remote_addr) {if (connect