NVIDIA TensorRT 10 [TAR]安装教程

平台信息

• 操作系统：Ubuntu 20.04.6 LTS
• CPU架构：x86_64
• GPU：Tesla T4 x 2
• 驱动信息：
  • NVIDIA-SMI：535.104.05
  • Driver Version: 535.104.05
  • CUDA Version: 12.2

步骤

预备步骤

安装驱动和CUDA

假设已经成功安装好驱动，如果没有，请参考其他教程进行安装，可参考NVIDIA GPU驱动安装教程。
为了确保CUDA可用，参考NVIDIA GPU驱动安装教程，我们添加环境变量到.bashrc里

PATH=/usr/local/cuda-12.2/bin${PATH:+:${PATH}}
LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

在编辑完.bashrc 后，执行

source .bashrc

确保环境变量生效，然后执行

nvcc -V

出现

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Thu_Jun__6_02:18:23_PDT_2024
Cuda compilation tools, release 12.5, V12.5.82
Build cuda_12.5.r12.5/compiler.34385749_0

说明CUDA 安装成功

下载 TensorRT 10

从NVIDIA TensorRT 10.x Download 选择适合自己机器的进行下载：

本文以最新版的10.9 GA为例，右键复制下载链接：

https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/10.9.0/tars/TensorRT-10.9.0.34.Linux.x86_64-gnu.cuda-12.8.tar.gz

在机器上执行wget 进行下载：

wget https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/10.9.0/tars/TensorRT-10.9.0.34.Linux.x86_64-gnu.cuda-12.8.tar.gz

安装

解压缩

tar -xvf TensorRT-10.9.0.34.Linux.x86_64-gnu.cuda-12.8.tar.gz

添加环境变量

添加以下变量到.bashrc上

export LD_LIBRARY_PATH=/home/limingbo/TensorRT-10.9.0.34/lib:$LD_LIBRARY_PATH
export CPLUS_INCLUDE_PATH=/home/limingbo/TensorRT-10.9.0.34/include:$CPLUS_INCLUDE_PATH
export PATH=/home/limingbo/TensorRT-10.9.0.34/bin:$PATH

安装

• 安装下列包

pip install pycuda nvidia-pyindex nvidia-tensorrt tensorrt

验证

通过下列代码验证TensorRT的安装

import tensorrt as trt

print("TensorRT Version: ", trt.__version__)

参考资料

• TensorRT 安装指南：Ubuntu完整教程【附常见问题解决】