当前位置: 首页 > news >正文

学习本地部署DeepSeek的过程(基于ollama)

  DeepSeek除了支持在线调用服务接口外,还支持本地部署后调用本地服务,这样的好处是不需要api key,且资源独占,还能训练个人知识库。本文学习并记录本地部署DeepSeek的过程。
  参考文献3中列出了不同模型对于电脑硬件的要求,本人电脑配置一般,只能部署1.5b版本的模型。
  百度本地部署DeepSeek的方式,目前找到的主要是两种:
  1)安装python、PyTorch、克隆DeepSeek仓库、下载模型等(参考文献6);
  2)基于ollama部署模型,使用chatbox调用本地服务(参考文献1-2中也提到可以安装其它前端程序)。
  第二种方式目前见到的最多,本文就先学习并记录基于ollama和chatbox的DeepSeek本地部署过程。

  在ollama官网(参考文献4)中按电脑操作系统类型下载并部署相应版本的ollama程序,网上建议按其默认安装路径安装,否则还需要手工调整环境变量,下载及安装过程中下所示。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
  安装完成后,在命令行中输入下面的命令查看安装状态。在这里插入图片描述
  接下来下载DeepSeek模型,在ollama的官网中可以看到DeepSeek每种模型的下载命令,然后在命令行中运行对应命令即可下载并运行,模型文件默认下载到C:\Users\{用户名}\.ollama\models\blobs路径下。
在这里插入图片描述

ollama run deepseek-r1:1.5b

  同时运行上面的命令也能在命令行中与DeepSeek本地模型对话,如下图所示:
在这里插入图片描述
  接下来部署chatbox,在官网(参考文献5)中下载并安装chatbox,如下图所示:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
  安装完成后,运行chatbox开始设置本地服务路径,选择下图中圈红出的“使用自己的API Key或本地模型”。
在这里插入图片描述
  在选择并配置AI模型窗口中选择Ollama API。
在这里插入图片描述
  最后弹出的设置窗口中选择本地模型及设置API地址(使用默认地址即可)。
在这里插入图片描述

  最后就可以在Chatbox中开始对话了,如下图所示。但说实话1.5b的模型效果一般,不清楚是设置的不对还是怎么回事,提问静夜思的作者或者让其仿照静夜思作诗,返回的结果不尽人意。在这里插入图片描述

参考文献:
[1]https://blog.csdn.net/qq_20890935/article/details/145563763
[2]https://baijiahao.baidu.com/s?id=1822832446478919985&wfr=spider&for=pc
[3]https://www.callmysoft.com/support/5446.html
[4]https://ollama.com/
[5]https://chatboxai.app/zh
[6]https://baijiahao.baidu.com/s?id=1823651450604281706&wfr=spider&for=pc

http://www.dtcms.com/a/86029.html

相关文章:

  • 产品经理如何管理需求池
  • Spring AOP 核心概念与实践指南
  • 图解模糊推理过程(超详细步骤)
  • DeepSeek、Grok 与 ChatGPT 4.5:新一代大模型架构与推理能力深度解析
  • 计算机网络——数据链路层的功能
  • [快乐学坊_2] 后端api测试
  • 如何修改进程的优先级
  • 重温Ubuntu 24.04 LTS
  • STM32基础篇(五)------TIM定时器比较输出
  • sgpt 终端使用指南
  • 轻松认识 SQL 关键字,打开数据库操作大门
  • JavaWeb基础-HTTP协议、请求协议、响应协议
  • 【凸优化】分式规划
  • 编程题记录2
  • 如何解决微服务调用链性能问题(优化 JVM 配置,降低 Full GC 频率)
  • SpringCould微服务架构之Docker(1)
  • 【解决】XCode不支持旧版本的iOS设备
  • Spring Boot项目快速创建-开发流程(笔记)
  • MySQL颠覆版系列————MySQL新特性(开启数据库的新纪元)上篇
  • 【AI部署】Ollama与vLLM深度对比:大模型部署框架的技术演进与实践指南
  • [c语言日寄]数据输入
  • 【论文#目标检测】You Only Look Once: Unified, Real-Time Object Detection
  • unity开发效率提升笔记
  • 系统掌握scikit-learn:核心功能与实践指南
  • AIGC 新势力:探秘海螺 AI 与蓝耘 MaaS 平台的协同创新之旅
  • 内网渗透技术 Docker逃逸技术(提权)研究 CSMSF
  • 【YOLO项目】毕设大作业之疲劳驾驶检测
  • 【开源宝藏】30天学会CSS - DAY5 第五课 脉冲动画
  • 安装unsloth
  • 第三天 开始Unity Shader的学习之旅之第二天的补充