windows本地部署DeepSeek实践
1 机器环境
测试环境
CPU:Intel®Core™i5-14400F 2.5GHZ
内存:16GB
显卡:AMD Radeon RX 7600 8G
操作系统:Windows 11
硬盘空间:512G SSD,剩余 200G
2 安装步骤
在本地部署 DeepSeek 只需要以下三步:
- 安装 Ollama。
- 部署 DeepSeek。
- 使用 DeepSeek:这里我们使用 ChatBox 客户端操作 DeepSeek或者使用安装 AI WebUI(此步骤非必须)。
2.1 安装Ollama
Ollama 官网:https://ollama.com/ , 直接浏览器下载可能会比较慢,可以考虑使用下载工具如:迅雷 。 如下图所示下载界面。
下载完成后 直接双击安装,安装完成后,win+r,打开命令行ollama -v 检验是否安装成功。
Ollama 是一个开源的大型语言模型服务工具。它的主要作用是帮助用户快速在本地运行大模型,简化了在 Docker 容器内部署和管理大语言模型(LLM)的过程。
PS:Ollama 就是大模型届的“Docker”。
Ollama 优点如下:
易于使用:即使是没有经验的用户也能轻松上手,无需开发即可直接与模型进行交互。
轻量级:代码简洁,运行时占用资源少,能够在本地高效运行,不需要大量的计算资源。
可扩展:支持多种模型架构,并易于添加新模型或更新现有模型,还支持热加载模型文件,无需重新启动即可切换不同的模型,具有较高的灵活性。
预构建模型库:包含一系列预先训练好的大型语言模型,可用于各种任务,如文本生成、翻译、问答等,方便在本地运行大型语言模型。
2.2 部署deepseek
Ollama 支持大模型列表:https://ollama.com/library
命令行输入命令:ollama run deepseek-r1:7b ;如下图所示大概需要10分钟左右,这里以7b(70亿)为例
下载小技巧:当发现下载很慢时候,CTRL+C 终止下载,命令行重新执行下载,如下图所示
部署完成,属于问题测试一下
2.3 ChatBox 工具安装
ChatBox 官网地址:https://chatboxai.app/zh
官网下载完之后,直接安装,安装完成后配置下,如下图所示
参考文献
【1】https://xie.infoq.cn/article/ecf39b4deef6d36d61e4274b1?utm_campaign=geektime_search&utm_content=geektime_search&utm_medium=geektime_search&utm_source=geektime_search&utm_term=geektime_search