管理员网站建设公司网站怎么弄

#工作记录

我们经常会遇到明明安装了onnxruntime-gpu或onnxruntime后，无法正常使用的情况。

一、强制重新安装 onnxruntime-gpu 及其依赖

# 强制重新安装 onnxruntime-gpu 及其依赖
pip install --force-reinstall --no-cache-dir onnxruntime-gpu==1.18.0 --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/

 

二、验证onnxruntime-gpu的安装

验证安装和GPU支持

并确保 GPU 支持正常工作：

# 导入 onnxruntime 模块，不使用别名
import onnxruntime
# 打印 onnxruntime 的版本号，确保已正确安装
print(onnxruntime.__version__)
# 导入 onnxruntime 模块，并使用别名 'ort'，方便后续调用
import onnxruntime as ort
# 检查设备
print("Device:", ort.get_device())  # 应输出 'GPU'
# 检查可用的执行提供程序
providers = ort.get_available_providers()
print("Available providers:", providers)  # 应包含 'CUDAExecutionProvider'
# 如果 GPU 支持正常，可以进一步测试推理
if 'CUDAExecutionProvider' in providers:print("GPU support is enabled.")
else:print("GPU support is not enabled. Please check your CUDA and cuDNN installation.")

输出应如下： 

(Cosyvoice) PS C:\Users\love> python
Python 3.11.11 | packaged by Anaconda, Inc. | (main, Dec 11 2024, 16:34:19) [MSC v.1929 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> # 导入 onnxruntime 模块，不使用别名
>>> import onnxruntime
>>> # 打印 onnxruntime 的版本号，确保已正确安装                                                                           >>> print(onnxruntime.__version__)
1.21.1
>>> # 导入 onnxruntime 模块，并使用别名 'ort'，方便后续调用
>>> import onnxruntime as ort
>>> # 检查设备
>>> print("Device:", ort.get_device())  # 应输出 'GPU'
Device: GPU
>>> # 检查可用的执行提供程序
>>> providers = ort.get_available_providers()
>>> print("Available providers:", providers)  # 应包含 'CUDAExecutionProvider'
Available providers: ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']
>>> # 如果 GPU 支持正常，可以进一步测试推理
>>> if 'CUDAExecutionProvider' in providers:
...     print("GPU support is enabled.")
... else:
...     print("GPU support is not enabled. Please check your CUDA and cuDNN installation.")
...
GPU support is enabled.