闵行区网站开发谷歌搜索引擎入口2021

本专栏博客第49篇文章分享了将 GroundingDINO模型导出onnx并使用c++进行部署，并尝试将onnx模型转换为trt模型，fp16进行推理，可以发现推理速度提升了一倍。为此对GroundingDINO的trt推理进行调研，发现
在GroundingDINO-TensorRT-and-ONNX-Inference项目中分享了模型导出onnx转trt格式，并分享了python-trt推理代码，但没有c++推理代码。为此，博主基于https://github.com/hpc203/GroundingDINO-onnxrun项目分享的onnx c++推理代码，修改为GroundingDINO模型的tensorrt推理代码。对于600x400的输入，在3060显卡下，cuda 12.1，TensorRT-10.4.0，window环境下53ms处理完一张图片。

1、前置操作

1.1 trt模型导出

参考