全国产化方案实现NVMe over 100G RDMA，解决智算超算中“存算”不匹配问题

全国产FPGA方案实现NVMe over 100G RDMA，解决超算中心“存算”不匹配问题

1、NVMe-OF 简介

NVMe-OF（NVMe over Fabrics）：
一种基于 NVMe协议的扩展技术，其核心是将 NVMe 协议从本地 PCIe 总线扩展到各种网络架构上，实现远程非易失性存储设备（如 NVMe SSD）的高效访问。关于NVMe-OF的详细科普，请参考下面的博客：
点击直接前往
NVMe-OF（NVMe over Fabrics）架构如下：

NVMe-OF 核心目标
打破 NVMe 协议仅能在本地 PCIe 总线上使用的限制，让主机可以通过网络远程访问 NVMe 设备，同时保留 NVMe 的低延迟、高吞吐量特性，满足分布式存储、云计算等场景对高性能远程存储的需求。

2、NVMe-OF分类比较

目前主流的NVMe-OF分类如下：

由上可知：NVMe over 100G RDMA（RoCEv2）方案具有碾压级优势。

3、基于FPGA实现的NVMe over 100G RDMA

基于FPGA实现的NVMe over 100G RDMA设计架构如下：

FPGA

FPGA是整个系统的核心，目前本博主已有的方案丰富多彩，既有全国产化FPGA方案，又有Xilinx系列FPGA方案，还有Altera 系列FPGA方案，满足不同行业和场景需求；全国产化FPGA方案用于特殊行业，Xilinx系列FPGA方案用于科研，Altera 系列FPGA方案用于低成本商用平台，具体如下：

100G RDMA（RoCEv2）

100G RDMA（RoCEv2）实现整个架构中的以太网功能；针对不同FPGA，我们有不同的设计方案，具体如下：

100G RDMA（RoCEv2）性能参数如下：
支持RoCE v2
支持硬件错误重传
支持100 Gb/s线速率
支持可靠连接（RC）RDMA传输服务类型
QP1支持发送和接收MAD数据包
用户硬件握手模式，以支持硬件RDMA应用程序
支持传入和传出RDMA SEND、RDMA READ、RDMA WRITE、RDMA SEN
使用IMM，RDMA使用IMM写入，RDMA发送无效消息类型。
最大支持扩展到2048个RDMA队列对
支持IPv4和IPv6数据包
支持拥塞通知（ECN）
支持RoCE和非RoCE流量的不同优先级和优先级流控
支持内存注册和保护域

100G RDMA（RoCEv2）设计架构如下：

NVMe 控制器

NVMe 控制器实现整个架构中的存储功能；针对不同FPGA，我们有不同的设计方案，具体如下：

PCIE Root Point

PCIE Root Point在整个架构中实现SSD硬盘和FPGA的桥接功能；针对不同FPGA，我们有不同的设计方案，具体如下：

4、FPGA的NVMe over 100G RDMA单卡应用

基于FPGA实现的NVMe over 100G RDMA目前只有单卡产品，即将QSFP28光口和U.2硬盘接口直接做到一张加速卡上，形成单卡产品，以我们的测试验证开发板为例，接口如下：

！！！注意：
上面的开发板仅为我们内部测试使用，成品板卡不是这样的。
FPGA的NVMe over 100G RDMA单卡产品可用于特殊行业，且对数据读延时有极致追求，单卡轻便小巧，插卡式灵活方便，且价格相对较低。

5、NVMe over 100G RDMA机箱产品应用

除了上面的FPGA的NVMe over 100G RDMA单卡外，我们还提供NVMe over 100G RDMA机箱产品，该产品使用ASIC方案实现，NVMe over 100G RDMA机箱产品可解决目前行业痛点，具体如下：
1、AI数据中心
用户需求点：由于“存力”与“算力”存在百倍性能鸿沟，GPU超过一半时间都在“空等”数据，使用NVME over RDMA方案可将GPU利用率从50%提升至85%以上。
2、金融证券系统
用户需求点：追求极致的延迟，10微秒以下为目标，纳秒级别为理想
3、医疗与生命科学
用户需求点：加速大规模文件访问
4、虚拟化与云计算
用户需求点：提升密集型负载性能

NVMe over 100G RDMA机箱产品具有单击吞吐率大、存取延时低、整机功耗低、存盘位数多、全国产化等特点，目前已在金融系统、智算中心、医疗、高性能存储、集群服务器、智慧工厂等领域有成熟部署应用，整机如下：

6、方案获取

基于FPGA方案实现的单卡加速卡和整机产品，均可获取设计方案；
资料方式：文章末尾的V名片。