当前位置: 首页 > news >正文

deepseek本地化部署

要在本地部署 DeepSeek,你可以借助一些工具来实现,以下为你介绍借助 LM Studio 和 Ollama 进行部署的方法:

利用 LM Studio 部署

  1. 下载安装 LM Studio
    • 打开 LM Studio 的官网LM Studio - Discover, download, and run local LLMs 。
    • 根据你的操作系统进行选择下载,例如 Windows 用户点击 “Download LM Studio for Windows”。下载完成后,双击安装程序,按照软件默认设置,一路点击 “下一步” 直至安装完成。安装完成后的介绍页面,直接点击右上角的 “跳过”。
    • 该软件支持中文,若要设置为中文,点击软件右下角的齿轮按钮(即设置),在 “language” 一项选择中文即可。
  2. 下载 DeepSeek 模型到本地
    • 点击软件左侧的放大镜按钮,进入大模型搜索界面。
    • 在搜索框中输入 “DeepSeek”,会搜索出多个 DeepSeek 的模型。目前能找到 8 个 DeepSeek 模型,其中包括 1.5b、7b、8b、14b、32b、70b 这 6 个蒸馏之后的模型,模型数字越大,包含内容越丰富,提供的内容更准确,但对硬件要求也更高。还有两个原始模型 DeepSeek R1 和 DeepSeek R1 ZERO,这两个模型对硬件要求极高且体积巨大。
    • 根据自身硬件情况选择模型:
      • 若硬件不是很强,选择 1.5b,处理简单需求没问题。
      • 若有 16GB 内存、RTX3060 独显,可选择 7b 或 8b,14b 也能运行,但生成速度较慢,大约 1 秒生成 5 个字左右。
      • 若硬件很强,如 128GB 内存、RTX5090D 显卡,可选择 14b、32b,或者尝试 70b 。
    • 选择好模型后,点击右下角的 “download” 开始下载。下载结束后,回到软件主界面,在软件顶部点击 “选择模型”,选中刚下载的模型,点击右下角的 “加载” 即可使用本地的 DeepSeek。

利用 Ollama 部署

  1. 安装 Ollama 工具
    • 前往 Ollama 官网下载对应系统版本的安装包。
    • 下载完成后,进行安装,安装完成后可验证安装是否成功,之后进入模型部署阶段。
  2. 选择适配模型
    • 打开 Ollama,在平台内搜索 “deepseek - r1” 系列模型。
    • 根据显卡配置选择模型版本,例如 RTX 3060 适配 7B,RTX 4090 支持 70B 等 。
    • 在命令行中输入下载指令,如 “ollama run deepseek - r1:7b”(这里以 7b 模型为例,实际根据所选模型修改指令),等待模型下载完成。
  3. 配置可视化界面(可选)
    • 可以通过 Chatbox 对接 Ollama API 来实现可视化交互。
    • 配置环境变量,设置完成后重启相关服务。之后即可通过 Chatbox 的图形化界面与 DeepSeek 模型进行交互,还能进行智能体定制等操作 。

此外,还有其他方式可实现 DeepSeek 本地部署,不同方法在操作步骤和对硬件的要求上可能有所差异。在部署前,建议先了解自身硬件性能,以便选择合适的模型和部署方式 。

相关文章:

  • MySQL主从同步面试核心20问:从原理到实战深度拆解
  • System V共享内存详解:在Linux上实现内存共享的最佳实践
  • Powershell WSL部署ubuntu22.04.5子系统
  • 深入 Linux 声卡驱动开发:核心问题与实战解析
  • STM32:Default_Handler问题
  • 深入解析 C++ Vector:全面掌握 STL 核心容器的原理与高效实践
  • Mybatis事务
  • git相关操作
  • 基于deepseek的智能语音客服【第二讲】后端异步接口调用封装
  • Python 获取显存信息
  • Dubbo(3)Dubbo的工作原理是什么?
  • 学习日记-0316
  • 【Python】12、函数-02
  • 衡量大模型的各个标准/数据集
  • Error: The project seems to require pnpm but it‘s not installed.
  • Linux 安全与存储管理指南
  • python高级学习Day1
  • pyhton中 字典 元组 列表 集合之间的互相转换
  • 数据结构-ArrayList
  • Qt开发中的常见问题与解决方案
  • 讲武谈兵|朝鲜“崔贤”号驱逐舰下水,朝版“宙斯盾”战力如何?
  • 上海:以税务支持鼓励探索更多的创新,助力企业出海
  • 讲座|为什么要不断地翻译叶芝的诗?它们为什么值得细读?
  • 神舟十九号载人飞行任务取得圆满成功
  • 徐徕任上海浦东新区副区长,此前已任区委常委
  • 软硬件企业集中发布未成年人模式使用手册