小杰深度学习（nine）——CUDA与CuDNN安装

CUDA与CuDNN安装

前言：

在深度学习中，我们常常要对图像数据进行处理和计算，而处理器CPU因为需要处理的事情多，并不能满足我们对图像处理和计算速度的要求，显卡GPU就是来帮助CPU来解决这个问题的，GPU特别擅长处理图像数据，而CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的运算平台。CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎，安装cuda之后，可以加快GPU的运算和处理速度。

1.什么是显卡？

显卡（Video card，Graphics card）全称显示接口卡，又称显示适配器，是计算机最基本配置、最重要的配件之一。显卡作为电脑主机里的一个重要组成部分，是电脑进行数模信号转换的设备，承担输出显示图形的任务。显卡接在电脑主板上，它将电脑的数字信号转换成模拟信号让显示器显示出来，同时显卡还是有图像处理能力，可协助CPU工作，提高整体的运行速度。对于从事专业图形设计的人来说显卡非常重要。民用和军用显卡图形芯片供应商主要包括AMD(超微半导体)和Nvidia(英伟达)2家。现在的top500计算机，都包含显卡计算核心。在科学计算中，显卡被称为显示加速卡。

2.什么是显存？

也被叫做帧缓存，它的作用是用来存储显卡芯片处理过或者即将提取的渲染数据。如同计算机的内存一样，显存是用来存储要处理的图形信息的部件。、

3.显卡、显卡驱动、CUDA之间的关系

显卡：（GPU），主流是NVIDIA的GPU，因为深度学习本身需要大量计算。GPU的并行计算能力，在过去几年里恰当地满足了深度学习的需求。AMD的GPU基本没有什么支持，可以不用考虑。

驱动：没有显卡驱动，就不能识别GPU硬件，不能调用其计算资源。window一般都安装上了驱动了。

CUDA：是显卡厂商NVIDIA推出的只能用于自家GPU的并行计算框架。只有安装这个框架才能够进行复杂的并行计算。主流的深度学习框架也都是基于CUDA进行GPU并行加速的，几乎无一例外。还有一个叫做cudnn，是针对深度卷积神经网络的加速库

4.显卡驱动与cuda的关系：

NVIDIA的显卡驱动器与CUDA并不是一一对应的，CUDA本质上只是一个工具包而已，所以可以在同一个设备上安装很多个不同版本的CUDA工具包，比如可以同时安装 CUDA 9.0、CUDA 9.2、CUDA 10.0三个版本。一般情况下，安装适合当前电脑的CUDA即可。

5.为什么GPU特别擅长处理图像数据呢？

这是因为图像上的每一个像素点都有被处理的需要，而且每个像素点处理的过程和方式都十分相似，GPU就是用很多简单的计算单元去完成大量的计算任务，类似于纯粹的人海战术。

6.查看自己电脑是否可以使用GPU加速？

想要使用GPU加速，则需要安装cuda,所以首先需要了解自己的电脑显卡是否支持cuda的安装，也就是查看自己的电脑里面有没有NVIDA的独立显卡，这里再说明一下，AMD的显卡不支持安装cuda来进行加速，具体查看步骤如下：

6.1第一步

开始菜单输入框输入设备管理器，打开设备管理器，找到显示适配器后点击，查看电脑显卡型号。

6.2第二步

桌面右键打开NVIDIA控制面板。

打开NVIDA控制面板，查看GPU显卡所支持的CUDA版本，具体开始菜单 -》NVIDIA控制面板-》帮助-》系统信息-》组件-》nvidia.dll后面的cuda参数，可以看到，我的显卡支持版本为12.2，所以我下载安装<=12.2版本的cuda即可。

nvidia-smi显示的CUDA Version是当前驱动的最高支持版本，因为CUDA是向下兼容的，所以最高支持版本以下的CUDA版本都是支持的，如图，nvidia-smi显示最高版本支持为12.2，那12.2以及12.2以下的版本都是支持的。右键cmd命令输入nvidia-smi 如下图所示：

7.下载与安装CUDA

7.1第一步

到官网下载CUDA安装包，前面我们已经查看到了电脑GPU显卡所支持的CUDA版本为<=12.2,下载地址：https://developer.nvidia.com/cuda-toolkit-archive

需要注册账号登录进去。

点击红框圈起来的版本。

选择安装程序的版本信息如下所示。

7.2 第二步：

下载完后，双击

extraction path可以不用修改，默认路径即可。cuda安装完成后，该路径下的文件就自动删除了。

7.3 第三步：

一切正常，检查系统兼容性。点击同意并继续

7.4 第四步：

选择自定义安装并进行下一步

7.5 第5步：

自定义组件全选直接下一步

7.6 第6步：

选择安装位置默认就行，下一步

7.7 第7步：

不用选择安装visual studio ,如下图勾选上，直接进行下一步

7.8 第8步

安装进行中等待程序完成安装 大约几分钟

7.9 第9步

完成安装进行下一步

7.10 第10步

关闭

8.查看CUDA是否安装成功

8.1第一步

配置完系统环境变量之后，我们就可以查看CUDA是否安装成功以及环境变量配置情况

查看安装版本：Win + R 打开cmd ，输入命令：nvcc --version

查看环境变量设置情况：输入命令：set cuda

8.2第二步

验证deviceQuery和bandwidthTest,在命令窗口运行测试文件，定位到 在cuda安装目录的 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\demo_suite，右键选择在终端中打开，分别输入deviceQuery，bandwidthTest并运行，两个地方的Result=PASS则说明通过，反之，Rsult=Fail 则需要重新安装。

deviceQuery效果图

bandwidthTest效果图

如果以上都没问题，则说明CUDA安装成功。

9.cuDNN介绍

在CUDA安装完之后，如果想要学习深度学习中的神经网络的话，则额外下载安装cuDNN，可帮助我们加快神经网络的运算，cuDNN是一个常见的神经网络层加速库文件，能够很大程度把加载到显卡上的网络层数据进行优化计算，而CUDA就像一个很粗重的加速库，其主要依靠的是显卡。cuDNN需要在有CUDA的基础上进行，可以在CUDA基础上加速2倍以上。

CUDA和cuDNN关系

CUDA看作是一个工作台，上面配有很多工具，如锤子、螺丝刀等。cuDNN是基于CUDA的深度学习GPU加速库，有了它才能在GPU上完成深度学习的计算。它就相当于工作的工具，比如它就是个扳手。但是CUDA这个工作台买来的时候，并没有送扳手。想要在CUDA上运行深度神经网络，就要安装cuDNN，就像你想要拧个螺帽就要把扳手买回来。这样才能使GPU进行深度神经网络的工作，工作速度相较CPU快很多。

注意：cuDNN是一个SDK(软件开发工具包)，是一个专门用于神经网络的加速包，它跟我们的CUDA没有一一对应的关系，即每一个版本的CUDA可能有好几个版本的cuDNN与之对应，但一般有一个最新版本的cuDNN版本与CUDA对应更好。

CuDNN支持的算法

卷积操作、相关操作的前向和后向过程

pooling的前向后向过程

softmax的前向后向过程

激活函数的前向后向过程,如（Relu、Sigmoid、Tanh ）等

10.cuDNN下载与安装

CuDNN 是由 NVIDIA 开发的针对深度神经网络的加速库，基于 CUDA 平台构建，专为 GPU 优化，用于加速深度学习框架（如 TensorFlow、PyTorch、Caffe 等）中的神经网络计算。它提供了高度优化的神经网络层（如卷积、池化、归一化、循环神经网络等）的实现，显著提升深度学习任务的训练和推理速度。

第一步：

官网下载cuDNN的安装包,地址：https://developer.nvidia.com/cudnn，这里需要你注册一个账号，(如果前面注册了这边就不用注册了)按照要求注册完就可以下载安装包了，这里我的CUDA安装的是12.1版本的，我就安装与我CUDA对应的cuDNN了。

第二步：

下载好安装包后，利用解压软件解压出来。

第三步：

复制粘贴 bin、include、lib三个文件到CUDA的安装目录进行覆盖替换

cuDNN到此安装成功！

11.cuda和cuDNN结合后环境变量设置

第一步：点击电脑右键选择属性

第二步：点击高级系统设置

第三步：点击环境变量

第四步：选择系统变量的Path 然后点击编辑

第五步：添加两项环境变量点击确定，必须包含这四项

点击确定后，再接着点击确定

点击确定后，再接着点击确定

12.下载安装Pytorch-GPU-pycharm—Anaconda安装

12.1安装Anaconda

12.1.1下载Anaconda安装包

去官网https://www.anaconda.com/download下载适合自己操作系统的Anaconda安装包

（以Windows为例）

12.1.2安装Anaconda

2.1双击下载后的“Anaconda3-2023.09-0-Windows-x86_64.exe”，进行安装。点击“Next”。

2.2选择同意

2.3如下选择

2.4选择安装路径 最好选择C盘以外的路径

2.5点击“Install”，等待安装完成。

12.1.3.验证Anaconda

安装完成后，点击“win”键，会出现“Anaconda Prompt”，之后双击进入，输入几条验证命令。出现所安版本即为验证成功。

12.2.创建虚拟环境

其中包括环境名称和python版本名称（我是3.9），安装新环境。

创建虚拟环境格式 conda create-n 环境名 python=版本

创建命令 conda create -n pytorch_gpu_20 python=3.9

12.3激活当前环境

输入“conda activate pytorch_gpu_20”，激活当前环境。之后不要退出，

12.3.1官网下载gpu版本的pytorch

网址:https://pytorch.org/

选择你电脑安装的cuda版本号

命令 在最后加了镜像源下载，否则太慢，容易下载失败

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

包括以下3个包：

• torch：核心包，集成pytorch的核心功能
• torchvision：提供给图像处理的包
• torchaudio：提供给语言处理的包

安装完成后

正确安装后，

在pycharm中查看如下图所示，是带cu121的。

测试：

在pycharm输入如下命令显示输出结果为True

12.4.设置解释器

（1）打开Pycharm，点击“文件—设置”，添加解释器（添加本地解释器）。

（2）添加Conda环境

点击“Conda环境”——选择Conda可执行文件路径——点击“加载环境”——选择“使用现有环境”——选择刚创建的虚拟环境“pytorch_gpu_20”。

（3）点击选择应用和OK