RDMA拥塞控制之CNP
好的，下面详细解释**CNP（Congestion Notification Packet，拥塞通知包）**的原理，主要用于RDMA over Converged Ethernet v2（RoCE v2）环境下的数据中心无损以太网流控。
---
## 1. CNP的背景
在RoCE v2（基于UDP/IP的数据中心RDMA协议）中，为了实现高性能和低延迟，需要避免网络拥塞导致的数据包丢失。传统以太网的PFC（Priority Flow Control）虽然可以阻止丢包，但容易导致拥塞蔓延（Head of Line Blocking）等问题。
因此，引入了**基于拥塞通知的流控机制**，即**ECN+CNP**：
- **ECN（Explicit Congestion Notification）**：交换机在检测到拥塞时，在IP包头打上ECN标记。
- **CNP（Congestion Notification Packet）**：源节点收到ECN标记后，主动发送CNP包给自己，通知本地RDMA栈降低发送速率。
---
## 2. CNP的工作原理
### 步骤1：交换机标记ECN
- RoCE v2流量经过交换机时，交换机检测到端口或队列拥塞。
- 交换机在数据包的IP头或以太网头部打上ECN标记（如`CE`，Congestion Experienced）。
### 步骤2：目的端检测ECN
- RDMA的目的端收到带有ECN标记的数据包。
- 目的端会在ACK中把ECN信息反馈给源端（或直接通知源端）。
### 步骤3：源端生成CNP
- 源端RDMA栈收到带有ECN反馈的信息后，会生成一个特殊的**CNP包**（UDP端口4791，RoCE v2协议）。
- 这个CNP包从源端发回自己（本地回环），**不是发给远端，而是本地通知**。
### 步骤4：源端降低发送速率
- 源端RDMA栈收到CNP包后，降低对应QP（Queue Pair）的发送速率。
- 速率降低的算法可以是线性、指数等，具体由实现决定。
- 一段时间后，速率逐步恢复，若再次收到CNP包，则继续降低。
---
## 3. CNP的作用
- **避免丢包**：通过主动限速，减少交换机缓冲区溢出导致的数据包丢失。
- **细粒度流控**：按QP（连接）粒度限速，精细控制拥塞源。
- **提升RDMA性能**：减少重传、降低延迟，提高带宽利用率。
---
## 4. CNP与ECN的区别与联系
- **ECN**是网络层的拥塞标记机制，适用于TCP、UDP等协议。
- **CNP**是RoCE v2专用的拥塞通知包，属于链路层/传输层之间的机制，只对RDMA流量生效。
- **CNP的触发依赖于ECN标记**，但CNP本身是RDMA协议内部的流控手段。
---
## 5. 流程图（简化版）
```
客户端RDMA流量 ——> 交换机（拥塞，打ECN） ——> 服务端（检测ECN） ——> 服务端反馈ECN ——> 客户端收到反馈 ——> 客户端生成CNP ——> 客户端本地RDMA栈收到CNP，降低速率
```
---
## 6. 小结
- **CNP是RoCE v2环境下，源端收到拥塞通知后，本地生成的降速信号包。**
- 其目的是让RDMA流量在拥塞时主动限速，避免丢包，提升数据中心网络的高效和稳定性。
---
如需具体配置方法、抓包分析或与TCP流控的对比，欢迎继续提问！