当前位置：首页 > news >正文

Triton Inference Server 使用详解与常见问题汇总

news 2025/7/19 8:52:50

本文结合实际开发经验，详细介绍 NVIDIA Triton Inference Server 的基本用法，并针对模型热加载、模型版本管理、config.pbtxt 配置、API 版本、推理输出为 None 等常见问题进行解答。

一、Triton Inference Server 简介

Triton Inference Server（简称 Triton）是 NVIDIA 推出的开源高性能推理服务平台，支持多种深度学习框架（ONNX、TensorFlow、PyTorch、TensorRT等），可在云端、边缘和本地高效部署 AI 模型。

二、基本用法

0. 下载docker 镜像

docker pull nvcr.io/nvidia/tritonserver:23.10-py3

1. 准备模型仓库

模型仓库（model repository）目录结构如下：

model_repository/└── yolo-world/├── 1/│   └── model.onnx├── 2/│   └── model.onnx└── config.pbtxt  # 可选但推荐

2. 启动 Triton 服务

docker run --gpus all --rm -d \-p8000:8000 -p8001:8001 -p8002:8002 \-v /path/to/model_repository:/models \nvcr.io/nvidia/tritonserver:23.10-py3 \tritonserver --model-repository=/models

3. 查询模型启动情况

  curl localhost:8000/v2/models/yolo-world

结果如下:

{"name":"yolo-world","versions":["1","2"],"platform":"onnxruntime_onnx","inputs":[{"name":"images","datatype":"FP32","shape":[1,3,640,640]}],"outputs":[{"name":"labels","datatype":"INT32","shape":[-1,-1]},{"name":"scores","datatype":"FP32","shape":[-1,-1]},{"name":"boxes","datatype":"FP32","shape":[-1,-1,-1]},{"name":"num_dets","datatype":"INT64","shape":[-1,1]}]}(base) pinefield@edge-gpu-01:/data/joyiot/leo/docker_proj$ curl localhost:8000/v2/models/yolo-world

4. 客户端推理调用

import numpy as np
import tritonclient.http as httpclientclient = httpclient.InferenceServerClient(url="localhost:8000")
inputs = [httpclient.InferInput("images", [1, 3, 640, 640], "FP32")]
inputs[0].set_data_from_numpy(np.random.rand(1, 3, 640, 640).astype(np.float32))
results = client.infer("yolo-world", inputs)
labels = results.as_numpy("labels")
scores = results.as_numpy("scores")
boxes = results.as_numpy("boxes")
num_dets = results.as_numpy("num_dets")

三、常见问题与解答

1. 模型热加载无效/新版本不显示

Triton 支持模型仓库的热加载（无需重启服务即可加载新模型/新版本）。
但在某些文件系统（如NFS、WSL2、网络挂载）下，热加载可能延迟或失效。
解决办法：
- 优先在本地磁盘操作模型仓库。
- 如热加载无效，重启 Triton 服务可强制加载所有模型和版本。
- 检查 Triton 日志，确认是否有模型加载相关信息。

2. 只加载了最新版本，未加载所有版本

默认情况下，如果没有 config.pbtxt 或未指定 version_policy，Triton 只会加载最新（最大数字）的模型版本。
解决办法：
- 在 config.pbtxt 中添加：
```
version_policy: { all: {} }
```
- 这样 Triton 会加载所有有效版本。

3. config.pbtxt 是否必须？如何配置？

ONNX、TensorFlow、PyTorch 等主流模型可以自动推断配置，config.pbtxt 可选。
但如需高级功能（多版本、动态批量、并发等），建议手动配置。

最简示例：

name: "yolo-world"
platform: "onnxruntime_onnx"
version_policy: { all: {} }

4. API 路径中的 v2/v3 是什么？

/v2/models/... 里的 v2 是 Triton 的 REST API 版本号，不是模型版本号。
模型版本号是在 API 路径的 versions/<数字> 部分，例如：
```
/v2/models/yolo-world/versions/2/infer
```

5. 推理输出为 None

常见原因：
- 客户端代码输出名与模型实际输出名不一致（区分大小写）。
- 模型本身推理出错或输出为空。
- config.pbtxt 配置与模型实际不符。
解决办法：
- 用 curl localhost:8000/v2/models/<模型名> 查询实际输出名。
- 检查输入 shape、数据类型、模型文件有效性。