南京360推广 网站建设口碑营销有哪些

硬件：RTX3090 24G

系统：ubuntu 1804

1. 下载ollama

curl -fsSL https://ollama.com/install.sh | sh

2.下载deepseek R1 模型数据

百度网盘下载链接

可以全部都下载，也可以选择性下载，主要看硬件平台

7B的模型大概需要5.5GB显存，

14B的模型大概需要11GB显存，

32B的模型大概需要22GB显存，

3.部署命令

切换到deepseek下载的模型数据目录下，执行

ollama create ds32b -f deepseek-r1-32b.modelfile

 注意，这里如果报错找不到目标文件，打开deepseek-r1-32b.modelfile，修改FROM后面的为模型文件的路径，如改为

FROM deepseek-r1-32b.gguf

4.运行

ollama run ds32b

即可通过命令行与ds对话。

其他的如使用对话框例如chatbox之类的，可以参考其他文章。

参考链接：

1.[DeepSeek-R1]私有化本地部署保姆级教程-开源工具链+全离线部署_哔哩哔哩_bilibili

2. Download Ollama on Linux

3.如何让ollama只调用GPU工作？--知乎

---

ollama 相关命令补充

本地加载模型

ollama create ds32b -f deepseek-r1-32b.modelfile

 列出所有已经加载到ollama中的模型

ollama list

使用模型

ollama run ds32b

deepseek中退出模型 

/bye

关闭模型，释放显存

ollama stop ds32b

不同系统下，模型文件的默认存储目录为用户目录下的 .ollama/models 目录：
macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\%username%\.ollama\models