RK3568 NPU RKNN（一）：概念理清

1、前言

本文出现的图片均可能来自讯为视频教程的配套讲义：

链接：https://pan.baidu.com/s/1h3W0cDYDH4E2Vu_HG_qSFg 提取码：ompw

2、RKNPU

到目前为止，RKNPU已经经过了几代的发展，趋近成熟。RK3399pro和RK1808初次引入RKNPU，相比传统的 CPU和GPU，在深度学习运算能力上有比较大幅度的提升。接下来在RV1109和RV1126上使用了第二代NPU，提升了NPU的利用率。第三代NPU应用在RK3566和RK3568上，搭载全新NPU自研架构，而RK3588搭载的为第四代NPU，提高了带宽利用率，支持了多核扩展。RKNPU具体发展过程如下图所示：

RKNPU1.0和RKNPU2.0被划分为了RKNPU，而RKNPU3.0、RKNPU4.0和RKNPU5.0被划分为了RKNPU2。

3、RK3568 NUP能力

RK3568 NPU只有单核心，RK3588 NPU是3核心。

4、RKNPU软件推理框架

下图展示了RKNPU各层级之间的关系：

RKNPU应用层可以分为RKNPU动态库、RKNN API、应用程序三个部分。关于API，rk提供了Python和C两种程序接口，而动态库就是接口的具体实现。

5、RKNN模型

我们需要将常用的模型转换成RKNPU所支持的RKNN模型，才可以使用API进行后续的AI应用程序编写。关于模型之间的转换会涉及到两个工具，分别是RKNN-Toolkit2和RKNN-Toolkit-Lite2。

RKNN-Toolkit2：RKNN-Toolkit2是为用户提供在PC平台上进行模型转换、推理和性能评估的开发套件，用户通过该工具提供的Python接口进行相关功能的开发。（项目地址：GitHub - airockchip/rknn-toolkit2）

RKNN-Toolkit2-Lite2：是RKNN-Toolkit2的阉割版，只保留了推理功能，直接运行在板卡上。二者的区别如下所示：

之前还提到，rk提供了Python和C两种API接口。而C API依赖于RKNPU2 SDK，项目地址在：https://github.com/airockchip/rknn-toolkit2/tree/master/rknpu2。可以把RKNN-Toolkit2-Lite2和RKNPU2 SDK放在一起比较，前者向上提供的是Python API接口，后者向上提供的是C API接口，但它们都是运行在板卡上的，并且RKNPU2 SDK提供的接口会更多更复杂，实现的效果更好。下图展示了二者的区别：

整个开发流程可以总结如下：

1. 在PC机下，基于RKNN-Toolkit2提供的Python接口进行RKNN模型构建、加载、测试等验证操作。
2. 在PC机下验证完成后，就轮到项目部署。即将RKNN-Toolkit2-Lite2或RKNPU2 SDK部署到开发板。

6、学习流程

总结关于rknn学习流程大致如下：

1、环境搭建

2、了解如何在pc端使用rknn-toolkit2

3、了解如何在板卡端使用rknn-toolkit-lite2

4、了解如何在板卡端使用rknpu2 sdk

5、项目实践