瑞芯微RV1126部署YOLOv8全流程：环境搭建、pt-onnx-rknn模型转换、C++推理代码、错误解决、优化、交叉编译第三方库

目录

1 环境搭建

2 交叉编译opencv

3 模型训练

4 模型转换

4.1 pt模型转onnx模型

4.2 onnx模型转rknn模型

4.2.1 安装rknn-toolkit

4.2.2 onn转成rknn模型

5 升级npu驱动

6 C++推理源码demo

6.1 原版demo

6.2 增加opencv读取图片的代码

7 交叉编译x264 ffmepg和opencv

7.1 交叉编译x264

 7.1.1 下载源码

7.2.2 配置、编译、安装

7.2 交叉编译ffmpeg

7.2.1 下载源码

7.2.2 配置、编译、安装

 7.2.3 测试ffmpeg命令

7.3 交叉编译opencv 

7.3.1 修改cmake文件

7.3.2 配置和cmake 

7.3.3 编译、安装

8 读取视频文件以及获取摄像头视频进行推理

8.1 读取视频进行推理

8.2 获取摄像头视频进行推理

9 模型预编译

10 利用瑞芯微的SDK获取摄像头视频进行推理

参考文献：

---

1 环境搭建

安装adb，安装交叉编译工具链，安装rknn_toolkit等方法步骤见我的另一篇博客。

RV1109_RV1126 EVB开发板环境搭建及使用总结_rv1109开发板-CSDN博客

2 交叉编译opencv

交叉编译opencv的方法见我的另一篇博客

ubuntu交叉编译opencv-CSDN博客

3 模型训练

模型训练首先下载GitHub - ultralytics/ultralytics: Ultralytics YOLO11 🚀

然后具体的训练方法网上资源很多，我这篇博客重点介绍模型转换和部署，至于模型训练不再展开。

4 模型转换

4.1 pt模型转onnx模型

瑞芯微的C++示例代码是针对瑞芯微修改后的模型结构进行推理的，所以在转模型的时候需要用瑞芯微修改后的工程进行模型转换，下载下面的工程

https://github.com/airockchip/ultralytics_yolov8

然后需要安装必要的库，其实前面训练yolov8的时候搭建了环境，那么这里转模型就用一样的环境就行，瑞芯微的这个ultralytics_yolov8相比官方的yolov8，只是在导出模型的时候进行了一些修改，对于训练模型，他和官方的ultralytics仓库是一样的。

按照上面的步骤就可以转出onnx模型。

4.2 onnx模型转rknn模型

4.2.1 安装rknn-toolkit

·首先安装rknn-toolkit，去这个网址下载

Releases · rockchip-linux/rknn-toolkit · GitHub

然后

conda create -n rv1126_1.7.5_chw python=3.8
conda activate  rv1126_1.7.5_chw
tar xzvf rknn-toolkit-v1.7.5-packages.tar.gz
cd packages
pip install rknn_toolkit-1.7.5-cp38-cp38-linux_x86_64.whl

然后可以用下面的命令测试是否安装成功

python
from rknn.api import RKNN

4.2.2 onn转成rknn模型

下载GitHub - airockchip/rknn_model_zoo

然后

conda activate rv1126_1.7.5_chw
cd examples/yolov8/python
python convert.py ../model/dugong_20250212.onnx rv1126

报错

W rknn-toolkit version: 1.7.5
Traceback (most recent call last):
  File "convert.py", line 41, in <module>
    rknn = RKNN(verbose=False)
  File "/root/anaconda3/envs/rv1126_1.7.5_chw/lib/python3.8/site-packages/rknn/api/rknn.py", line 78, in __init__
    self.config()
  File "/root/anaconda3/envs/rv1126_1.7.5_chw/lib/python3.8/site-packages/rknn/api/rknn.py", line 753, in config
    return self.rknn_base.config(args)
  File "rknn/api/rknn_base.py", line 73, in rknn.api.rknn_base.RKNNBase.config
  File "/root/anaconda3/envs/rv1126_1.7.5_chw/lib/python3.8/site-packages/rknn/base/acuitylib/__init__.py", line 1, in <module>
    from acuitylib.optimize.optimizer import Optimizer
  File "/root/anaconda3/envs/rv1126_1.7.5_chw/lib/python3.8/site-packages/rknn/base/acuitylib/__init__.py", line 1, in <module>
    from acuitylib.optimize.optimizer import Optimizer
  File "rknn/base/acuitylib/optimize/optimizer.py", line 128, in init rknn.base.acuitylib.optimize.optimizer
  File "rknn/base/acuitylib/optimize/rules/high_performance/model_pruning.py", line 3, in init rknn.base.acuitylib.optimize.rules.high_performance.model_pruning
  File "/root/anaconda3/envs/rv1126_1.7.5_chw/lib/python3.8/site-packages/torch/__init__.py", line 29, in <module>
    from .torch_version import __version__ as __version__
  File "/root/anaconda3/envs/rv1126_1.7.5_chw/lib/python3.8/site-packages/torch/torch_version.py", line 3, in <module>
    from pkg_resources import packaging  # type: ignore[attr-defined]
ImportError: cannot import name 'packaging' from 'pkg_resources' (/root/anaconda3/envs/rv1126_1.7.5_chw/lib/python3.8/site-packages/pkg_resources/__init__.py)

 解决方法

pip install --upgrade setuptools

5 升级npu驱动

我转模型的时候用的rknn-toolkit 1.7.5，那么板子的驱动我也升级为1.7.5吧，升级方法

https://github.com/rockchip-linux/rknpu/tree/master

adb push drivers/linux-armhf-puma/*   /
adb push drivers/npu_ko/galcore_puma.ko /lib/modules/galcore.ko

6 C++推理源码demo

6.1 原版demo

C++推理demo也在

https://github.com/airockchip/rknn_model_zoo/tree/main

然后找到rknn_model_zoo-main/examples/yolov8

具体编译方法在github上也有，这里为了方便我又写了个脚本build.sh

#!/bin/bash
  

: <<'COMMENT'
./build-linux.sh -t <target> -a <arch> -d <build_demo_name> [-b <build_type>] [-m]
    -t : target (rk356x/rk3588/rk3576/rv1106/rk1808/rv1126)
    -a : arch (aarch64/armhf)
    -d : demo name
    -b : build_type(Debug/Release)
    -m : enable address sanitizer, build_type need set to Debug
Note: 'rk356x' represents rk3562/rk3566/rk3568, 'rv1106' represents rv1103/rv1106, 'rv1126' represents rv1109/rv1126

# Here is an example for compiling yolov5 demo for 64-bit Linux RK3566.
./build-linux.sh -t rk356x -a aarch64 -d yolov5
...
COMMENT

./build-linux.sh -t rv1126 -a armhf -d yolov8

然后直接sh build.sh就可以编译了，不用每次都去敲命令。

编译完之后用xftp把install整个文件夹传到rv1126开发板，然后执行

./rknn_yolov8_demo  ./model/yolov8.rknn  ./model/bus.jpg

由于我这个模型没有预编译&#