SOHO英文网站制作wordpress空间服务商
1、版本选择
本地部署就是自己部署deepseek模型，使用本地的算力。
- 主要瓶颈：内存+显存的大小。
- 特点：此方案不用联网。
- 适合：有数据隐私方面担忧的或者保密单位根本就不能上网的。
2、部署过程
比较流行的是使用ollama：https://ollama.com/
Ollama（在本地作为服务端，可以是别的平台）+ Open WebUI等（https://github.com/open-webui/open-webui，前端，可以是别的工具如Chrome插件Page Assist或Anything LLM）
步骤1：下载Ollama
步骤2：安装Ollama
自定义Ollama安装路径
手动创建Ollama安装目录
首先在你想安装的路劲下
创建好一个文件夹，并把Ollama的安装包放在里面。比如我的是：D:\softw\Ollama
在文件路径上输入CMD回车
输入命令符安装
然后再CMD窗口输入：
OllamaSetup.exe /DIR=D:\softw\Ollama
语法：软件名称 /DIR=这里放你上面创建好的Ollama指定目录
手动创建大模型存储目录
添加环境变量
右键“我的电脑”，选择“属性”，按如下方式配置：
注意：修改完之后，需要重启Ollama客户端，右键图标，选择退出，重新运行Ollama
验证安装
”win+r“输入cmd
命令行输入如下：
ollama -v
能显示ollama版本说明安装成功。
步骤3：选择r1模型
- b代表10亿参数量，8b就是80亿参数量。这里的671B是HuggingFace经过4-bit 标准量化的，所以大小是404GB。
- ollama 支持 CPU 与 GPU
混合推理。将内存与显存之和大致视为系统的 “总内存空间”。
步骤4：本地运行DeepSeek模型
在命令行中，输入如下命令：
ollama run deepseek-r1:8b
下载支持断点续传，如果下载中速度变慢，可以鼠标点击命令行窗口，然后ctrl+c取消，取消后按方向键“上”，可以找到上一条命令，即”ollama run deepseek-r1:8b“，按下回车会重新链接，按照之前进度接着下载。
下载完成后，自动进入模型，直接在命令行输入问题，即可得到回复。
- 比如：打个招呼！
- 获取帮助：
/?
- 退出对话：
/bye
步骤5：查看已有模型
ollama list
后续要运行模型，仍然使用之前的命令：
ollama run deepseek-r1:8b