江西建设职业技术学院迎新网站seo网站的优化方案
本地部署大模型
ollama介绍
Ollama的作用
Ollama是一个轻量级的大型语言模型（LLM）软件引擎，用于快速部署和运行大型语言模型。它负责模型的加载和服务器端的推理，确保模型能够快速响应请求。
本地部署DeepSeek时需要Ollama的原因
在本地部署DeepSeek时，需要安装和配置Ollama，因为它负责以下任务：
模型文件的解析和加载：Ollama负责解析和加载DeepSeek所需的模型文件。
本地服务器端的推理逻辑：Ollama处理服务器端的推理逻辑，确保模型能够快速响应请求。
ollama安装
前提：需要外网哦
1、下载OllamaSetup
地址：https://ollama.com/
2、双击安装
点击install，等待安装
3、验证是否安装成功
安装完之后，打开cmd窗口，验证是否安装成功
ollama -v
4、下载模型
下载deepseek的1.5b的大模型，太大的本地跑不了
ollama pull deepseek-r1:1.5b
5、运行模型模型
下载完之后可以运行deepseek模型
ollama run deepseek-r1:1.5b
可以问他问题
