做外贸网站怎么做企业网络平台建设
RK3588 RKNN ResNet50推理测试
- 一、背景
- 二、性能数据
- 三、操作步骤
- 3.1 安装依赖
- 3.2 安装rknn-toolkit,更新librknnrt.so
- 3.3 下载推理图片
- 3.4 生成`onnx`模型转换脚本
- 3.5 生成rknn模型
- 3.6 运行rknn模型
一、背景
在嵌入式设备上进行AI推理时，我们面临着算力有限、功耗敏感等挑战。RK3588芯片搭载的NPU（神经网络处理单元）专为加速AI运算设计，而RKNN是Rockchip专为NPU定制的推理框架。通过将通用模型（如ONNX）转换为RKNN格式，可以充分发挥硬件加速能力，实现：
- 性能提升：相比CPU运算可提速数十倍
- 能效优化：相同任务功耗降低约80%
- 模型压缩：通过量化技术减小模型体积
二、性能数据
- 模型:resnet50 输入:[1,3.224,224 float32] 输出:[1,1000 float32]
| 精度模式 | RKNN推理 |
|---|---|
| FP16 | 19.4857 ms MSE:0.00042 |
| INT8 | 9.3501 ms MSE:0.00417 |
三、操作步骤
3.1 安装依赖
apt install software-properties-common -y
add-apt-repository ppa:deadsnakes/ppa #添加Python软件源
apt install python3.10
apt install python3.10-dev
wget https://bootstrap.pypa.io/get-pip.py
python3.10 get-pip.py
pip3.10 install numpy
/usr/bin/python3.10 -m pip install onnx
pip3.10 install torch
pip3.10 install torchvision
apt install python3.10-setuptools
为什么需要这些依赖？
- numpy：处理张量数据的基础数学库
- torch：PyTorch框架用于加载预训练模型
- onnx：模型转换的中间格式标准
3.2 安装rknn-toolkit,更新librknnrt.so
# 下载RKNN Toolkit（版本需与NPU驱动匹配）
wget https://github.com/airockchip/rknn-toolkit2/archive/refs/tags/v2.3.0.tar.gz
tar -xf v2.3.0.tar.gz
cd rknn-toolkit2-2.3.0/# 安装Python接口
pip3.10 install -r rknn-toolkit2/packages/arm64/arm64_requirements_cp310.txt
pip3.10 install rknn-toolkit2/packages/arm64/rknn_toolkit2-2.3.0-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
pip3.10 install rknn-toolkit-lite2/packages/rknn_toolkit_lite2-2.3.0-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
cp rknpu2/runtime/Linux/librknn_api/aarch64/librknnrt.so /usr/lib/librknnrt.so
工具链组成说明：
- rknn-toolkit：模型转换工具
- librknnrt.so：NPU运行时加速库
- rknnlite：轻量级推理接口
3.3 下载推理图片
wget https://raw.githubusercontent.com/hi20240217/csdn_images/refs/heads/main/YellowLabradorLooking_new.jpg
3.4 生成onnx模型转换脚本
cat> resnet50.py<<-'EOF'
import requests
from PIL import Image
from io import BytesIO
import torchvision.transforms as transforms
import torch
import numpy as np
import torchvision.models as models
import sysis_half=int(sys.argv[1])# 读取图片
image = Image.open("YellowLabradorLooking_new.jpg")# 定义预处理流程
preprocess = transforms.Compose([transforms.Resize(256),transforms.CenterCrop(224),transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])# 应用预处理
img_t = preprocess(image)
input_tensor = torch.unsqueeze(img_t, 0).float()