Windows环境下使用Ollama搭建本地AI大模型教程
注：Ollama仅支持Windows10及以上版本。
安装Ollama
去 ollama官网 下载对应平台及OS的安装包。
运行安装包，点击“安装”按钮即可开始安装。Ollama会自动安装到你的 C:\Users\<当前用户名>\AppData\Local\Programs\Ollama 目录上。
安装完成后，Ollama会自动启动。启动时任务栏中图标显示如下：
当Ollama未启动时，可以通过点击开始菜单Ollama快捷方式或者直接定位安装目录的方式手动启动程序。
（可选）自定义的模型存储目录
在拉取数据模型之前，我们必须意识到，Ollama默认模型存储的目录是 C:\Users\<当前用户名>\.ollama\models 。这也意味着，如果你的C盘空间不够大的话，在拉取大维度数据模型的时候会因空间不足而失败——数据模型维度越高，占用磁盘空间越大。
为了避免这种尴尬的问题，我们的第一思路是将默认模型存储的目录移动到其它磁盘上。具体来说，我们可以通过设置环境变量来确定这一点。
还是老一套：右键“计算机”–>“属性”–>“高级系统设置”–>“环境变量”，打开环境变量界面。
新增一个名为OLLAMA_MODELS环境变量，变量值则设置为你想要存储模型的目录路径。例如：D:\OllamaModels。
设置完成后，点击“确定”保存更改。
拉取数据模型
首先我们要确定一个问题：我们要使用什么样的数据模型？
去 ollama官网 上查看所有Ollama支持的数据模型。
模型的种类不同，侧重方向也不一样。而同一模型当中，数据维度（参数量）越大，训练速度越快，但需要的磁盘空间和运行时内存也越多。因此，我们还需要根据自己的硬件条件来选择合适的模型。下面以deepseek-r1模型为例：
deepseek-r1
| 数据维度 | 初始磁盘空间 | 运行时最低内存 |
|---|---|---|
| 1.5b | 1.1GB | 2GB |
| 7b(默认) | 4.7GB | 6GB |
| 8b | 4.9GB | 6.5GB |
| 14b | 9GB | 12GB |
| 32b | 20GB | 24GB |
| 70b | 43GB | 66GB |
| 671b | 404GB | 550GB |
注意：运行时最低内存为估算值。
当你选取了适当的模型之后，我们就可以拉取它了。
- 打开cmd命令行，运行以下命令：
cd C:\Users\<当前用户名>\AppData\Local\Programs\Ollama
此时命令行移动到了Ollama的安装目录。
- 此时再运行以下命令：
./ollama.exe pull <所选的数据维度模型>:<所选的数据维度>
例如，如果我们选取了deepseek-r1的1.5b版本，则运行
./ollama.exe pull deepseek-r1:1.5b
静待数据模型拉取完成，搭建工作圆满结束。
（可选）（仅Nvidia显卡可用）使用CUDA工具包，把显存用起来
在进行此项 可选的 工作之前，你应该确保：
- Nvidia显卡驱动正常运行。
- 已安装最新的Nvidia app应用程序。
打开命令行，运行命令：
nvidia-smi.exe
此时会显示如下信息：
图中红框中的即为CUDA版本号，安装CUDA工具包的版本号不得高于该版本号！
去 Nvidia官网 上下载合适版本的CUDA工具包。
点击安装包，按照提示完成安装。
在确保模型被运行的情况下，打开命令行，运行“nvidia-smi.exe”命令。结果如下：
红框显示，此时发现显存已被使用了一部分，CUDA工具包已经成功安装了。