deepseek 本地化部署(小白也可部署)
Ollama介绍
Ollama 是一个开源的本地化大型语言模型(LLM)运行框架,支持通过简单的命令行操作管理和运行模型。
Ollama下载安装
下载安装包
Download Ollama on macOS
根据你系统选择下载对应的软件包安装
正常执行安装即可
查看运行
在电脑右下角可以看到Ollama在运行
也可打开浏览器,输入 http://127.0.0.1:11434/ ,查看Ollama是否运行。
打开系统CMD
搜索-输入“cmd”-打开“命令提示符”
查看版本
ollama -v
查看模型
查看ollama已有模型
ollama list
刚安装好的Ollama应该是没有任何模型的。
安装模型
设置系统变量
首先先设置模型存放地址的环境变量,否则模型会安装到C盘下。
搜索-输入“环境变量”-打开“编辑系统环境变量”
打开“环境变量”
系统变量-新建
变量名:OLLAMA_MODELS
变量值:你希望模型存储的地方
保存后重启电脑,系统变量需要重启电脑才能生效。
拉取模型
访问模型仓库,获取deepseek模型
https://ollama.com/library/deepseek-r1
根据电脑配置,选择对应的大小模型,点击复制拉取模型命令
参考配置
版本 | CPU核心 | 内存 | 硬盘空间 | 显卡需求 | 适用场景 |
---|---|---|---|---|---|
DeepSeek-R1-1.5B | 最低4核(如Intel i5或AMD Ryzen 5) | 8GB | 12GB以上 | 可选(无GPU加速时使用CPU推理) | 教育领域:基础的AI教学和演示; 小型企业:简单文本生成; 个人开发:基础AI项目开发 |
DeepSeek-R1-7B | 8核以上(如Intel i9或AMD Ryzen 7) | 16GB | 32GB以上 | 推荐8GB显存(如RTX 3060) | 内容创作:创意写作; 客户服务:智能客服系统; 数据分析:简单数据分析和报告生成 |
DeepSeek-R1-14B | 12核以上(如AMD Ryzen 9) | 32GB | 80GB以上 | 推荐16GB显存(如RTX 4090) | 企业级应用:合同分析、报告生成; 长文本生成:新闻报道、学术论文; 多语言翻译:跨国企业 |
DeepSeek-R1-32B | 16核以上(如AMD EPYC 7003系列) | 64GB | 320GB以上 | 推荐24GB显存(如A100 40GB) | 专业领域:医疗、法律知识问答; 多模态任务:医学影像报告生成; 复杂数据分析:市场研究报告生成 |
DeepSeek-R1-70B | 32核以上(如AMD EPYC 9004系列) | 128GB | 700GB以上 | 多卡并行(如4x RTX 4090或2x A100 80GB) | 科研机构:前沿科学研究; 大型企业:大规模数据分析; 创意写作:科幻小说或剧本生成 |
模型评分对比
DeepSeek_R1论文
https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf
在命令提示符中执行命令
ollama run deepseek-r1:1.5b
或
ollama pull deepseek-r1:1.5b
启动模型
ollama run deepseek-r1:1.5b
向模型提问
至此,本地化部署deepseek完毕。