本地算力部署大模型详细流程（一）

1、版本选择

本地部署就是自己部署deepseek模型，使用本地的算力。

• 主要瓶颈：内存+显存的大小。
• 特点：此方案不用联网。
• 适合：有数据隐私方面担忧的或者保密单位根本就不能上网的。

2、部署过程

比较流行的是使用ollama：https://ollama.com/
Ollama（在本地作为服务端，可以是别的平台）+ Open WebUI等（https://github.com/open-webui/open-webui，前端，可以是别的工具如Chrome插件Page Assist或Anything LLM）

步骤1：下载Ollama

步骤2：安装Ollama

自定义Ollama安装路径

手动创建Ollama安装目录

首先在你想安装的路劲下创建好一个文件夹，并把Ollama的安装包放在里面。比如我的是：D:\softw\Ollama

在文件路径上输入CMD回车

输入命令符安装

然后再CMD窗口输入：OllamaSetup.exe /DIR=D:\softw\Ollama
语法：软件名称 /DIR=这里放你上面创建好的Ollama指定目录

手动创建大模型存储目录

添加环境变量

右键“我的电脑”，选择“属性”，按如下方式配置：

注意：修改完之后，需要重启Ollama客户端，右键图标，选择退出，重新运行Ollama

验证安装

”win+r“输入cmd

命令行输入如下：

ollama -v

能显示ollama版本说明安装成功。

步骤3：选择r1模型

• b代表10亿参数量，8b就是80亿参数量。这里的671B是HuggingFace经过4-bit 标准量化的，所以大小是404GB。
• ollama 支持 CPU 与 GPU 混合推理。将内存与显存之和大致视为系统的 “总内存空间”。

步骤4：本地运行DeepSeek模型

在命令行中，输入如下命令：

ollama run deepseek-r1:8b

下载支持断点续传，如果下载中速度变慢，可以鼠标点击命令行窗口，然后ctrl+c取消，取消后按方向键“上”，可以找到上一条命令，即”ollama run deepseek-r1:8b“，按下回车会重新链接，按照之前进度接着下载。

下载完成后，自动进入模型，直接在命令行输入问题，即可得到回复。

• 比如：打个招呼！

• 获取帮助：

/?

• 退出对话：

/bye

步骤5：查看已有模型

ollama list

后续要运行模型，仍然使用之前的命令：

ollama run deepseek-r1:8b