DeepSeek-R1本地部署简易教程
一、什么是DeepSeek
DeepSeek R1 是一款开源的AI模型,它与 OpenAI 的 o1 和 Claude 3.5 Sonnet 等顶级模型竞争,特别是在数学、编程和推理等任务上表现出色。它是免费的、私密的,并且支持在本地硬件上离线运行。
DeepSeek R1 提供了多个版本,涵盖从轻量级的1.5B参数模型到功能强大的70B参数版本。从技术角度来看,它基于 Qwen 7B 架构,经过精简和优化,确保在保持强大性能的同时,提升了运行效率。
DeepSeek 的最大亮点是,它能够与一些领先的商业AI模型相媲美,但作为开源项目,你可以在本地运行它,完全不依赖云服务器,从而更好地掌控你的数据。
目前最新的 DeepSeek-R1 提供了多个蒸馏后的参数模型,包括有:1.5b、7b、8b、14b、32b、70b,以及满血版 671b 大模型。
DeepSeek-R1各版本特性
二、为什么要在本地运行?
将AI模型部署在本地有以下几个显著优势:
隐私保护:所有数据都存储在你的设备上,避免了敏感信息泄露的风险。
成本节省:DeepSeek R1 完全免费,无需支付订阅或使用费用。
完全控制:你可以随时对模型进行微调和实验,不依赖任何外部平台。
DeepSeek的优点
三、安装步骤(共三步)
Windows环境下本地部署DeepSeek-R1
步骤1、安装Ollama
为了在本地成功运行 DeepSeek R1,我们需要借助 Ollama,它是一个专为在本地计算机上运行AI模型而设计的工具。
Ollama 官网:https://ollama.com/download
安装完成后,Ollama 提供了一个简单的方法,可以直接通过终端提取并运行模型。
步骤2、拉取 DeepSeek R1 模型
Ollama 支持多个版本的 DeepSeek R1。模型越大,智能程度越高,但所需的 GPU 配置也越强。
具体模型:https://ollama.com/search
本教程将安装一个基础级模型,大家可以根据自己的硬件条件选择适合的版本。
由于 Ollama 部署的是量化版本,这使得显存需求大幅降低。通常情况下,8G 显存足够支持 8B 级别模型,而 24G 显存则适配 32B 模型。
运行 1.5B 或者 7B 8B模型
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
这个命令会提取 1.5B 模型并将其设置为本地运行。
如果出现错误,可以尝试以下指令:
ollama run deepseek-r1
该命令默认下载 7B 大小的模型。
根据网络速度的不同,下载过程可能会有些慢,如果你的网速较慢,可能需要等待约 20 分钟左右。一旦下载完成,模型就可以开始运行了。
步骤3、安装聊天框
完成上述步骤后,说明你已经在电脑上成功部署了 DeepSeek,可以通过终端与 DeepSeek R1 进行交互。不过,如果你希望拥有更加流畅和直观的交互体验,可以使用 GUI(图形用户界面)。
Chatbox是一款智能对话工具,结合了人工智能技术和便捷的操作界面,支持Windows、MacOS、Linux、Android、iOS及网页端,可帮助用户快速完成任务。Chatbox 是与本地模型集成的常见工具,它是一个免费的桌面客户端,注重隐私保护。
进入Chatbox官网(网址为https://chatboxai.app/zh),找到适合自己电脑系统的版本,下载并完成安装。
安装完成后,在选择配置API模型那里选择“Ollama API”;
将 API 主机设置为:http://127.0.0.1:11434
选择 DeepSeek R1 作为活动模型
保存
到这里,你的 DeepSeek 部署就完成了。你可以根据自己的需求训练 DeepSeek,将其打造成为一个私有的资料库,随时为你提供支持。