当前位置: 首页 > news >正文

AI 模型部署体系全景:从 PyTorch 到 RKNN 的嵌入式类比解析

📘 AI 模型部署体系全景:从 PyTorch 到 RKNN 的嵌入式类比解析


🧠 一、AI 模型部署的整体流程

AI 模型的部署流程可以类比嵌入式系统的启动流程:

阶段嵌入式系统AI 模型部署
源码定义DTS + SPL + U-BootPyTorch / TensorFlow 模型结构
编译构建U-Boot.imgONNX / TFLite / RKNN / TensorRT
烧录部署烧录到 eMMC / SPI推理引擎加载模型
执行运行SPL/U-Boot 启动GPU/NPU 执行推理逻辑

🧩 二、主流 AI 框架与模型格式对照表

框架常见模型原始格式可导出格式推理引擎典型后缀
PyTorchYOLO, LLM, Qwen.pt, .pth.onnxTensorRT, ONNX Runtime.pt, .onnx, .engine
TensorFlowSSD, MobileNet.pb, .ckpt.tflite, .onnxTFLite, TensorRT.pb, .tflite, .onnx
CaffeAlexNet, VGG.caffemodel, .prototxt.onnxCaffe, TensorRT.caffemodel, .prototxt, .onnx
DarknetYOLOv3/v4.weights, .cfg.onnxTensorRT, OpenCV DNN.weights, .cfg, .onnx
PaddlePaddlePP-YOLO, ERNIE.pdmodel, .pdparams.onnxPaddle Lite, ONNX Runtime.pdmodel, .onnx
Keras简化版 TF 模型.h5.tflite, .onnxTFLite, ONNX Runtime.h5, .tflite, .onnx
RKNN Toolkit任意模型转 Rockchip 格式.onnx, .tflite, .pb.rknn.rknnRKNN Lite, RKNN API.rknn

📦 三、模型文件后缀详解

后缀来源含义特点
.pt / .pthPyTorch原始模型文件包含结构和权重,训练环境使用
.onnx通用中间交换格式跨框架部署,支持多平台
.pbTensorFlowProtocol Buffer 格式TF 原始模型,适合服务器部署
.tfliteTensorFlow Lite轻量模型适合移动端和嵌入式设备
.caffemodelCaffe权重文件.prototxt 配合使用
.prototxtCaffe网络结构定义类似设备树结构定义
.weightsDarknet权重文件YOLOv3/v4 原始格式
.cfgDarknet网络结构定义配合 .weights 使用
.h5Keras模型结构 + 权重可导出为 .tflite.onnx
.rknnRockchipRockchip 专用格式用于 RK3588/NPU 推理
.engineTensorRT编译后的推理引擎高速执行,适合 Jetson
.pdmodel / .pdparamsPaddlePaddlePaddle 模型结构与参数Paddle 专用格式

🔄 四、ONNX 的核心作用与转换流程

ONNX 是 AI 模型部署中的“中间格式”,类似于嵌入式系统中的 .dtb

  • 跨平台兼容:支持 PyTorch、TensorFlow、Caffe、Keras 等框架导出
  • 部署灵活:可用于 TensorRT、ONNX Runtime、RKNN Toolkit 等推理引擎
  • 便于优化:支持量化、剪枝、融合等模型优化操作

示例转换流程(YOLOv8)

YOLOv8.pt → YOLOv8.onnx → YOLOv8.engine(Jetson)↓YOLOv8.rknn(RK3588)

🚀 五、典型平台部署路径

Jetson 平台(NVIDIA)

步骤工具文件
模型训练PyTorch.pt
导出中间格式ONNX.onnx
编译推理引擎TensorRT.engine
推理执行C++/Python + TensorRT实时目标检测

RK3588 平台(Rockchip)

步骤工具文件
模型准备ONNX / TFLite.onnx / .tflite
转换为 RKNNRKNN Toolkit.rknn
推理执行RKNN API / LiteNPU 加速推理

Android 平台

步骤工具文件
模型训练TensorFlow / Keras.pb / .h5
导出轻量模型TFLite Converter.tflite
推理执行TFLite Runtime手机端部署推理

🧠 六、LLM 与 Qwen 的位置

名称类型说明
LLM(Large Language Model)模型类型用于自然语言理解与生成,参数量巨大
Qwen(通义千问)模型实例阿里巴巴推出的 LLM,支持中文、代码、多模态输入
部署方式推理引擎可导出为 ONNX,部署到服务器或边缘设备
类比嵌入式脚本解释器类似复杂 shell 脚本系统,支持上下文理解与生成

📘 七、嵌入式类比总结表

AI 概念嵌入式类比说明
PyTorch 模型(.pt)U-Boot 源码原始模型定义
ONNX 模型(.onnx)编译后的设备树(.dtb)中间格式,跨平台
TensorRT 引擎(.engine)烧录后的 U-Boot 镜像高速执行体
推理执行SPL/U-Boot 启动实际运行逻辑
模型结构定义(cfg, prototxt)DTS网络结构描述
模型转换工具链编译器模型构建与优化流程

🛠️ 八、推荐工具链与脚本模板

平台工具链推荐脚本
JetsonPyTorch → ONNX → TensorRTtrtexec, torch.onnx.export
RK3588ONNX → RKNNrknn_toolkit, rknn_convert.py
AndroidTF → TFLitetflite_convert, FlatBuffer
通用服务器ONNX → ONNX Runtimeonnxruntime.InferenceSession

http://www.dtcms.com/a/489980.html

相关文章:

  • 全球汽车紧固件产业进入关键转型期,中国供应链加速融入世界市场
  • 17网站一起做网店下载自动发卡网站建设
  • PHP 类型比较
  • oracle:To_char
  • MySQL 数据库核心操作全解析:从创建到备份与连接管理
  • 环境函数 SYS_CONTEXT 在 DM8 与 Oracle 中的差异
  • 长春怎么做网站重庆网站建设aiyom
  • Linux中的管道与重定向:深入理解两者的本质区别
  • 上传OSS服务器图片文件视频(使用elemenplus上传组件)
  • 全面适配iOS 26液态玻璃,基于开源IM即时通讯框架MobileIMSDK:RainbowChat-iOS端v10.2发布
  • 【Kubernetes】常见面试题汇总(二十五)
  • 阿里云渠道商:哪些方法能给服务器加速?
  • 华为USG 6320之配置外网访问服务器NAT映射和NAT回流
  • 网站开发业务介绍深圳网站搭建找哪里
  • 常见的网站模板类型有哪些,新手该如何选择最合适的?
  • 【Linux】基础IO(一)Linux 文件操作从入门到实践:系统调用、文件描述符、重定向,为自定义Shell添加重定向
  • Docker 深度解析:从虚拟化到新一代应用构建、运行与交付
  • 企业网站建设网站有哪些建企业网站用什么源码
  • 复制了一个vue的项目然后再这个基础上修改。可是通过npm run dev运行之前的老项目,发现运行的竟然是拷贝后的项目。为什么会这样?
  • 【Prisma】Prisma 命令大全(Node / NestJS 通用)
  • 十月连环效应:宏观叙事与链上机会的临界点
  • 第六部分:VTK进阶(第161章 多渲染Pass组合)
  • 三相变流器矢量控制及参数设计系列(2):PWM原理
  • 网络层IP协议详解:互联网的灵魂所在
  • 深圳网站公司推广平台wordpress网站统计
  • 数据结构4:线性表3-链式存储的线性表
  • 如何理解随机过程中“样本空间”的概念
  • 最新机器人顶会IROS 2025的award paper 深入分析
  • 做一个介绍网站多少钱手机上怎么制作网站
  • 汽车存储技术的未来在何方?