deepseek本地化部署
要在本地部署 DeepSeek,你可以借助一些工具来实现,以下为你介绍借助 LM Studio 和 Ollama 进行部署的方法:
利用 LM Studio 部署
- 下载安装 LM Studio:
- 打开 LM Studio 的官网LM Studio - Discover, download, and run local LLMs 。
- 根据你的操作系统进行选择下载,例如 Windows 用户点击 “Download LM Studio for Windows”。下载完成后,双击安装程序,按照软件默认设置,一路点击 “下一步” 直至安装完成。安装完成后的介绍页面,直接点击右上角的 “跳过”。
- 该软件支持中文,若要设置为中文,点击软件右下角的齿轮按钮(即设置),在 “language” 一项选择中文即可。
- 下载 DeepSeek 模型到本地:
- 点击软件左侧的放大镜按钮,进入大模型搜索界面。
- 在搜索框中输入 “DeepSeek”,会搜索出多个 DeepSeek 的模型。目前能找到 8 个 DeepSeek 模型,其中包括 1.5b、7b、8b、14b、32b、70b 这 6 个蒸馏之后的模型,模型数字越大,包含内容越丰富,提供的内容更准确,但对硬件要求也更高。还有两个原始模型 DeepSeek R1 和 DeepSeek R1 ZERO,这两个模型对硬件要求极高且体积巨大。
- 根据自身硬件情况选择模型:
- 若硬件不是很强,选择 1.5b,处理简单需求没问题。
- 若有 16GB 内存、RTX3060 独显,可选择 7b 或 8b,14b 也能运行,但生成速度较慢,大约 1 秒生成 5 个字左右。
- 若硬件很强,如 128GB 内存、RTX5090D 显卡,可选择 14b、32b,或者尝试 70b 。
- 选择好模型后,点击右下角的 “download” 开始下载。下载结束后,回到软件主界面,在软件顶部点击 “选择模型”,选中刚下载的模型,点击右下角的 “加载” 即可使用本地的 DeepSeek。
利用 Ollama 部署
- 安装 Ollama 工具:
- 前往 Ollama 官网下载对应系统版本的安装包。
- 下载完成后,进行安装,安装完成后可验证安装是否成功,之后进入模型部署阶段。
- 选择适配模型:
- 打开 Ollama,在平台内搜索 “deepseek - r1” 系列模型。
- 根据显卡配置选择模型版本,例如 RTX 3060 适配 7B,RTX 4090 支持 70B 等 。
- 在命令行中输入下载指令,如 “ollama run deepseek - r1:7b”(这里以 7b 模型为例,实际根据所选模型修改指令),等待模型下载完成。
- 配置可视化界面(可选):
- 可以通过 Chatbox 对接 Ollama API 来实现可视化交互。
- 配置环境变量,设置完成后重启相关服务。之后即可通过 Chatbox 的图形化界面与 DeepSeek 模型进行交互,还能进行智能体定制等操作 。
此外,还有其他方式可实现 DeepSeek 本地部署,不同方法在操作步骤和对硬件的要求上可能有所差异。在部署前,建议先了解自身硬件性能,以便选择合适的模型和部署方式 。