中企动力在业内口碑如何优化营商环境的金句
上一个章节我们介绍的RKNN模型的模型转换和模型的推理，这一章节我们将介绍模型的量化和评估部分。
2.3 RKNN模型的量化
量化就是将浮点转换为定点运算的过程，或者训练后由rknn来量化。量化模型使用较低精度（如int8/uint8/int16）保存模型的权重信息，在部署时可以使用更少的存储空间，获得更快的推理速度。但各深度学习框架训练、保存模型时，通常使用浮点数据，所以模型量化是模型转换过程中非常重要的一环。RKNN Toolkit目前对量化模型的支持主要有以下两种形式：
- RKNN Toolkit根据用户提供的量化数据集，对加载的浮点模型进行量化，生成量化的RKNN 模型。
- 支持的量化精度类型：int16，int8，uint8
- 量化方式：训练后静态量化
- 支持的量化粒度：per-tensor（或 per-layer），不支持 per-channel 量化
- 由深度学习框架导出量化模型，RKNN Toolkit加载并利用已有的量化信息,生成量化 RKNN 模型。
- 支持的深度学习框架：PyToch(v1.9.0)、ONNX(Onnxruntime v1.5.1)、Tensorflow、TFLite
- 支持的量化精度类型：int8, uint8
- 量化方式：训练后静态量化, 量化感知训练(QAT)
以下代码为量化的示例代码：
# 导入RKNN库
from rknn.api import RKNN # 创建RKNN对象
rknn = RKNN() # 加载已训练的模型，例如TensorFlow或PyTorch模型
# 这里以TensorFlow Frozen Graph为例
model_path = 'your_model.pb'
rknn.load_tensorflow(model=model_path, inputs=['input_tensor'], outputs=['output_tensor']) # 配置量化
rknn.config(quantized_enable=True, quantized_dtype='int8') # 编译模型
print("编译模型...")
rknn.compile() # 进行量化
print("量化模型...")
rknn.quantize() # 导出量化后的模型
output_model_path = 'quantized_model.rknn'
rknn.export(output_model_path) print("量化完成，模型已保存到：", output_model_path) # 释放RKNN对象
rknn.release()2.4 RKNN模型的评估
通过模型转换得到 RKNN 模型后，可以使用RKNN Toolkit在Rockchip NPU开发板上对模型的准确性、性能、内存使用情况进行评估。评估的流程如下所示：
模型评估主要分三部分进行：准确性评估、性能评估和内存评估。
- 准确性评估：评估 RKNN 模型推理结果的准确性。
- 性能评估：评估 RKNN 模型在指定开发板上推理时的耗时。
- 内存评估：评估 RKNN 模型推理时在 Rockchip NPU 上的内存使用情况。
2.5 RKNN模型的加密
为了避免模型的结构、权重等信息泄漏，RKNN Toolkit提供模型加密功能。 RKNN Toolkit 提供 3 个加密等级，等级越高，安全性越高，解密越耗时；反之，安全性越低，解密越快。
加密模型的部署流程和普通一样，不需要解密等额外操作。