海珠网站建设制作谷歌外贸网站

目标

安装CUDA Toolkit，提升本地大模型运行效率。

背景知识

CUDA（Compute Unified Device Architecture）是由NVIDIA开发的并行计算平台和编程模型，它通过利用图形处理器 (GPU) 的处理能力，可大幅提升计算性能。
CUDA Toolkit是NVIDIA提供的一套完整的开发环境，主要用于开发CUDA应用程序，充分利用GPU的并行计算能力，加速各种计算密集型任务。

DeepSeek在运行时并不完全依赖CUDA‌。虽然DeepSeek优化了PTX而不是直接使用CUDA，但它仍然需要与CUDA相关的指令集进行计算。这意味着DeepSeek并没有完全绕开CUDA，而是通过优化PTX来提高计算效率，这在一定程度上减少了对CUDA的依赖‌（减少了依赖，不是没有依赖）。

关于背景知识，推荐另一个博主的一篇文章，看着逻辑挺清晰，我是学到了：

一篇文章理清GPU、CUDA、CUDA Toolkit、cuDNN的关系_cudnn和cuda的关系-CSDN博客

通过“任务管理器”-“性能”页签，或者下面命令，可以查看自己GPU的信息。

nvidia-smi

核对版本

在开始菜单，找到显卡驱动程序的控制面板，运行

 点击“系统信息”-“组件”：查看版本号信息：

 下载toolkit

 在官网：CUDA Toolkit Archive | NVIDIA Developer，可能会看到网站黑色cookie授权提示，可以“agree”，或者不理睬，不影响下载，找到对应的版本：

 进入下载界面，选择自己操作系统和安装的版本，选择本地安装，安装程序会全部下载到本地，软件会大一些3G，我下载感觉速度还行：

 下载之后，就正常安装就好，因为安装程序有点大，我安装目录给它换到E：盘了，过程界面仅供参考：

安装测试

打开dos窗口，输入命令，返还cuda版本信息，就是成功了

nvcc -V

运行界面：

cuda安装后，自动设置了系统的环境变量，set命令查看系统参数：

set cuda

返回信息类似下面：

python程序测试

用PyTorch测试一下。

PyTorch是一个基于Python的深度学习库，专门为深度学习任务设计，提供了丰富的API和工具，使得开发者可以使用Python编写高效的深度学习代码。

进到官网PyTorch  ，点击“get started”

根据你的系统信息，网站会给出下载命令：

在vsCode中，运行安装：

安装后，创建.py测试文件，代码如下：

import torch
import torch.nn
print("cuDNN 是否可用:", torch.backends.cudnn.is_available())  # 检查 cuDNN 可用性

 执行返还true，表示成功。