【PCIe 总线及设备入门学习专栏 5.3 -- PCIe 与 EP 中的 DMA协同工作介绍】
文章目录
-
- Overview
- 1. DMA与PCIe的协同工作原理
-
- PCIe的角色
- 2. 为何使用Memory Write TLP？
-
- (1) 性能优势
- (2) 数据流向优化
- 3. 具体工作流程示例
Overview
当EP 端和 Host 端有大量数据交互时，比如 NPU 的训练或者推理场景中，就需要Host 端向 EP 端搬运大量数据，这种场景就可以在 PCIe 系统中实现个 DMA，用来数据搬运。DMA 允许设备直接访问系统内存而不需要CPU的介入，这样可以减少CPU的负担，提高数据传输效率。在PCIe环境中，比如，GPU 作为端点设备（EP），需要通过DMA从主机内存中读取数据，比如进行图形渲染或计算任务时的大量数据传输。
Memory Write属于Posted事务，不需要目标设备的响应，而Memory Read需要等待Completion TLP返回数据。这可能意味着使用Memory Write可以提高效率，因为不需要等待响应，尤其是在大量数据传输时，减少延迟和开销。
通常，DMA控制器位于EP设备（如GPU）中，可以自主发起传输请求。当GPU需要数据时，其DMA控制器会生成Memory Read TLP，请求主机内存中的数据。主机收到请求后，通过Completion TLP将数据返回给GPU。
比如主机主动将数据写入GPU的显存，这时候主机使用Memory Write TLP，而GPU不需要发送请求，只需要接收数据。使用Memo