迅为高情性6TOPS算力的RK3576开发板NPU rknn-model-zoo例程演示
迅为iTOP-3576开发板采用瑞芯微RK3576高性能、低功耗的应用处理芯片，集成了4个Cortex-A72和4个Cortex-A53核心，以及独立的NEON协处理器。它适用于ARM PC、边缘计算、个人移动互联网设备及其他多媒体产品。
支持INT4/INT8/INT16/FP16/BF16/TF32混合运算，并凭借其强大的兼容性，可以轻松转换基于TensorFlow、MXNet、PyTorch、Caffe等一系列框架的网络模型。满足多种应用场景。
rknn-model-zoo 中提供了当前主流算法部署到 RK SOC 的例程，包含了模型的转换、模型
的 Python api 推理、模型的 C api 推理，rknn-model-zoo 仓库在 1.5 小节已经讲解了获取方法，
而由于每个例程的使用都非常相似，所以在本章节只以 deeplabv3 例程为例进行例程演示。
DeepLabv3 是一种用于语义分割的深度学习模型,由 Google 研究团队在 2017 年提出。它
是 DeepLab 系列模型的第三代产品,相比前两代模型在准确性和运行效率上都有显著提升。
5.1 模型下载和模型转换
不论是模型的 Python api 推理还是模型的 C api 推理都需要将常规模型转换为 RKNN 模型，
首先进入到 deeplabv3 目录
在 model 目录下有着常规模型的下载脚本，如下图所示：
然后赋予该脚本权限并运行该脚本，下载 deeplabv3 模型，
下载完成之后，可以看到当前目录多出来了 deeplab-v3-plus-mobilenet-v2.pb 模型，其他例
程的模型也是通过上述方法进行下载。然后来到 python 目录下，在 python 目录下有着模型转
换的 python 程序 convert.py，
convert.py 程序实际上就是由 rknn-toolkit2 编写的程序，所以在运行之前必须要确保根据
2.1 小节搭建了 rknn-toolkit2 环境，convert.py 的使用方法如下所示：
可以使用以下命令进行模型转换，表示将 deeplab 模型转换为在 RK3576 上运行的量化
RKNN 模型，如下图所示：
python3 convert.py ../model/deeplab-v3-plus-mobilenet-v2.pb rk3576 i8
在运行的过程中会有一些警告，不影响转换结果，默认忽略即可，转换完成会在 model
目录下生成名为 deeplab-v3-plus-mobilenet-v2.rknn 的 RKNN 模型，
至此，关于 deeplabv3 例程的模型下载和模型转换就演示完成了，rknn-model-zoo 其他例
程的模型下载和模型转换步骤相同，模型转换完成之后，就可以进行推理测试了，rknn-model
-zoo 提供了 rknn-toolkit2 Python API 连板推理和 rknpu2 C API 推理这两种方式，会在接下来
的小节中对两种方法进行演示。
5.2 Python API 推理
在每个 rknn-model-zoo 例程文件夹的 python 目录中除了模型转换程序还有推理程序，所
使用的也是由 rknn-toolkit2 API 编写的程序，
而由于 rknn-toolkit2 只能运行在 X86 的 Linux 系统中，所以这里采用的是连板推理的方式，
关于连板推理的演示可以看 2.2.2 小节，在本章节不再进行详细的介绍，直接进行演示。
首先启动开发板，这里开发板烧写的是 ubuntu22 镜像，使用其他镜像都可以，烧写完成
之后，需要先更新 rknn_server 和 librknnrt.so 文件，rknn_server 和 librknnrt.so 分别为 rknn-too
lkit2/rknpu2/runtime/Linux/rknn_server/aarch64/usr/bin 和 rknn-toolkit2/rknpu2/runtime/Linux/li
brknn_api/aarch64 目录下如下图所示：
然后将 rknn_server 和 librknnrt.so 拷贝到开发板上，其中 rknn_server 需要拷贝到/usr/bin
目录下，而 librknnrt.so 要拷贝到/usr/lib 目录，拷贝完成之后，运行 rknn_server 如下图所示：
然后确保开发板的 adb 设备连接到了虚拟机 ubuntu，连接成功之后在左侧菜单栏中会有一
个手机的图标，
然后在终端使用“adb devices”命令查看当前连接的 adb 设备，存在 adb 设备表示连接成
功，
而 deeplabv3.py 程序的运行需要 matplotlib 依赖，所以要运行以下命令安装 matplotlib，如
下图所示：
pip3 install matplotlib -i https://repo.huaweicloud.com/repository/pypi/simple/
安装完成之后就可以运行 deeplabv3.py 程序了，deeplabv3.py 程序有三个参数，分别为
--model_path、--target 和--device_id，--model_path 表示 RKNN 模型路径，--target 表示连接的
开发板 SOC 类型，--device_id 为上面通过“adb devices”获取到的设备 id，但由于只有一个设
备，所以--device_id 参数可以忽略不写，所以推理命令如下所示：
运行完成之后，会在当前路径输出语义分割之后的图形 output.png，原图形和分割之后的
对比图如下所示：
可以看到小朋友、自行车已经使用了不同的颜色进行了分割，至此对于 Python API 推理就
演示完成了。