本地部署DeepSeek实战
目录
1. 安装Ollama
2.安装DeepSeek
3.客户端调用DeepSeek
4.API调用本地部署大模型
最近想通过Spring-AI来整个大模型的应用，调用其它公司的大模型平台都需要申请API Key、Secret Key，模型调用都需要按调用次数/Token 收费，有个别平台有免费试用期和免费额度。如果想免费调用大模型，最好是自己本地部署运行开源模型，减少资金消耗。
阿里云百炼平台：大模型服务平台百炼控制台
百度千帆平台：百度智能云千帆大模型平台
腾讯混元平台：登录 - 腾讯云
字节扣子：扣子
1. 安装Ollama
Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。在本地机器上便捷部署和运行大型语言模型（LLM）而设计。
下载：在官网Ollama，直接点击download即可，根据电脑系统选择不同的版本。
安装完成后打开如下：
2.安装DeepSeek
deepseek官网上可以看到有不同版本的模型，可以根据自己电脑的配置安装不同的模板
-
1.5B：适合硬件配置较低的电脑，4GB内存就够了；M1/M2处理器可安装
-
7B：推荐版本，大部分电脑都能跑，要求8GB内存+4GB显存；M3的处理器可安装
-
32B：高性能设备的专属，要求32GB内存+12GB显存。M4或者更高处理器
安装命令：ollama run deepseek-r1:7b
安装成功如下：
3.客户端调用DeepSeek
如果不想用ollama命令操作DeepSeek，可安装可视化大模型交互工具
可视化工具有：ChatBox客户端、Cherry Studio、浏览器插件
Cherry Studio下载地址：
ChatBox下载地址：Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载
浏览器插件安装方式：
-
打开浏览器的扩展中心，启用【开发人员模式】；
-
把文末提供的插件压缩包拖入扩展中心进行安装；
-
安装完成后，你会看到一个名为“Page Assist-本地AI模型的Web UI”的插件。
下载Cherry Studio之后，打开，设置
添加模型，我自己的是deepseek-r1:7b
首页中调用大模型
4.API调用本地部署大模型
有开发需求的朋友，可以开启API模式，通过API集成的方式。
基于Ollama框架运行了deepSeek R1模型，ollama相当于一个代理，我们直接调用ollama的API即可实现大模型接口的调用。
Ollama包装了完善的接口与大模型进行交互，接下来会通过Spring-AI来实践Agent应用。
参考：https://zhuanlan.zhihu.com/p/21682261418