【秣厉科技】LabVIEW工具包——OpenCV 教程（21）：CUDA 加速方案
文章目录
- 前言
- 一、方案总述
- 二、改造步骤
- 三、编程范例
- 四、应用移植
- 总结
前言
- 需要下载安装OpenCV工具包的朋友，请前往 此处 ；
- 系统要求：Windows系统，LabVIEW>=2018，兼容32位和64位。
一、方案总述
- 为了保持轻量化与普适性，现行的 OpenCV 工具包以及将来的所有升级版，均不自带 CUDA 加速功能；
- 有需要的用户，可以通过 “打补丁” 的方式，将通用版 OpenCV 工具包改造为 CUDA 加速版；
- 所谓 “打补丁”，就是获取 OpenCV 带CUDA编译的DLL，并替换工具包安装路径中的同名文件；
- 本文会提供几种编译好的 DLL 供用户选择下载，同时也会公开编译的方法，以防提供的DLL不兼容您的电脑环境；
- 只有 64位 的 LabVIEW 可以将工具包改造为 CUDA 加速版，并且电脑已安装 CUDA 和 cuDNN。
二、改造步骤
-
安装配置 CUDA + cuDNN 环境
参考教程：【番外】01：Windows 安装配置 CUDA 和 cuDNN 教程 -
下载或自己编译带 CUDA 功能的 OpenCV 4.9.0 DLL
编译教程：【番外】02：Windows 编译带 DNN_CUDA 功能的 OpenCV 动态链接库
下载资源：（注意区分 CUDA 和 cuDNN 版本，以及兼容的显卡算力。如果没有适合您的DLL，请按教程自己编译）
| 序号 | CUDA | cuDNN | 显卡算力 | 资源 |
|---|---|---|---|---|
| 1 | 11.6 | 8.9.7 | 兼容算力：6.1;7.5;8.6 支持显卡：GTX10系、GTX1650、RTX20系、RTX30系 | 下载地址 |
| 2 | 12.1 | 8.9.7 | 兼容算力：7.5;8.6;8.9 支持显卡：GTX1650 、RTX20系、RTX30系、RTX40系 | 下载地址 |
- 替换 DLL
打开 <LabVIEW安装路径>/vi.lib/Molitec/OpenCV/_libs 文件夹，将下载或编译的 opencv_world490.dll 拷贝到该路径，同名替换。
（每次重装OpenCV工具包后，DLL又会被替换成原版，所以建议您备份一下新的DLL）
三、编程范例
-
打开范例VI：examples/Molitec/OpenCV/dnn/Net_3 (ONNX_yolov5_Camera).vi
（改造之后，首次打开 VI 会比较慢） -
在函数选板 >> Addons >> Molitec >> OpenCV >> dnn >> Net 选板中，找到两个函数：setPreferableBackend 和 setPreferableTarget， 位置如下图。
-
将上述两个函数，插入到范例中的 Net 对象初始化之后，推理之前，并设置参数：
setPreferableBackend - 设为 DNN_BACKEND_CUDA
setPreferableTarget - 设为 DNN_TARGET_CUDA
-
运行VI，测试 CUDA 加速效果。（首次运行，需要较长的加载时间）
下图为 CUDA11.6 + GTX 1650 显卡运行效果，推理一帧大约20ms。
-
如果按上述操作，未能成功加速推理，或者程序崩溃，说明DLL不适合您的电脑环境，请尝试重新下载或编译。
-
如果程序崩溃，会产生较大的错误转储文件（DMP），占用C盘空间。
可进入如下路径，进行清理：
C:/Users/<你的用户名>/AppData/Local/CrashDumps/
-
除了Net类之外，dnn 模块下的 Model 类也有 setPreferableBackend 和 setPreferableTarget，也可以实现 CUDA 加速，用法类似。
四、应用移植
-
将 VI 打包成 .exe 应用程序，并移植到其他电脑运行，之前已有教程。
【秣厉科技】LabVIEW工具包——OpenCV 教程（8）：生成应用（EXE） -
当您使用 CUDA 加速版打包 .exe 时，移植到其他电脑前，须确保两件事：
2.1 其他电脑同样要先安装配置 CUDA + cuDNN 环境；
2.2 拷贝到其他电脑的 opencv_world490.dll ，必须兼容目标电脑的 CUDA、cuDNN 版本以及显卡算力。
（否则，您需要为目标电脑单独下载或编译一版DLL）
总结
- 本系列博文作为LabVIEW工具包—OpenCV的教程，将以专栏的形式陆续发布和更新。
- 对工具包感兴趣的朋友，欢迎下载试用：秣厉科技 - LabVIEW工具包 - OpenCV
- 各位看官有什么想法、建议、吐槽、批评，或新奇的需求，也欢迎留言讨论。