​CUDA C++编程指南(3.2.8)——异步并发执行

AI-安全-功耗 CUBE 博客目录导读

目录

3.2.8.1. 主机与设备之间的并发执行

3.2.8.2. 并发内核执行

3.2.8.3. 数据传输与内核执行的重叠

3.2.8.4. 并发数据传输

---

CUDA将以下操作暴露为可以相互并发操作的独立任务：

• 在主机上进行计算;

• 在设备上进行计算;

• 从主机到设备的内存传输;

• 从设备到主机的内存传输；

• 在给定设备的内存内部进行数据传输；

• 设备间的内存传输。

这些操作之间实现的并发级别将取决于设备的特性集和计算能力，如下所述。

3.2.8.1. 主机与设备之间的并发执行

通过异步库函数实现主机并发执行，这些函数在设备完成请求任务之前就将控制权返回给主机线程。使用异步调用时，许多设备操作可以一起排队