当前位置： 首页 > news >正文

【macOS操作系统部署开源DeepSeek大模型，搭建Agent平台，构建私有化RAG知识库完整流程】

news 2025/8/8 11:32:22

macOS操作系统部署开源DeepSeek大模型，搭建Agent平台，构建私有化RAG知识库完整流程

  • 1 部署DS大模型
    • 1.1 下载macOS版ollama
    • 1.2 验证
    • 1.3 部署DeepSeek模型
    • 1.4 测试对话
  • 2 搭建Agent
    • 2.1 下载macOS版本 AnythingLLM
    • 2.2 切换中文
    • 2.3 配置本地服务
  • 3 构建RAG知识库
    • 3.1 部署BGE-M3
    • 3.2 配置本地嵌入模型
    • 3.3 新建工作区
    • 3.4 上传文档
    • 3.5 测试对话

昨天在马路上捡到一台全新的Mac Studio。

在这里插入图片描述

拆开一看配置还挺高的，好家伙早就听说macOS操作系统也非常适合拿来跑大模型了，赶紧激活系统试了一下，以下是部署流程的完整记录。

在这里插入图片描述

1 部署DS大模型

1.1 下载macOS版ollama

访问 ollama官网 下载macOS版ollama，将 Ollama 图标拖入 Applications 文件夹。

在这里插入图片描述

1.2 验证

在终端中执行验证是否安装成功

ollama --version

输出（例）：

ollama version is 0.11.2

在这里插入图片描述

1.3 部署DeepSeek模型

在终端中执行部署DeepSeek模型

ollama run deepseek-r1:14b

1.4 测试对话

部署完成后，启动模型进行对话

在这里插入图片描述

或在ollama界面输入问题，观察是否响应，ollama 界面时需要选择指定模型，选择未下载的模型发送信息ollama会自动拉取模型到本地

在这里插入图片描述

2 搭建Agent

2.1 下载macOS版本 AnythingLLM

访问 AnythingLLM官网 下载macOS版本 AnythingLLM
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2 切换中文

启动AnythingLLM，进入设置页面，将语言切换为中文
在这里插入图片描述

在这里插入图片描述

2.3 配置本地服务

配置本地ollama deepseek-r1:14b 大模型服务

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

做好本地模型、tokens、url等配置

模型勾选ollama已部署的deepseek-r1:14b，tokens上调至8192，本地默认地址及端口为127.0.0.1:11434

完成后右上角 保存【Save changes】

在这里插入图片描述

3 构建RAG知识库

3.1 部署BGE-M3

在终端中执行部署BGE-M3 嵌入模型

ollama run bge-m3

在这里插入图片描述

3.2 配置本地嵌入模型

在AnythingLLM 中配置本地嵌入模型，操作同2.3

在这里插入图片描述

3.3 新建工作区

在这里插入图片描述

在这里插入图片描述

在新建的工作区（my first workspace）配置聊天设置和向量数据库

在这里插入图片描述

在这里插入图片描述

文档相似度阈值设置最高

在这里插入图片描述

3.4 上传文档

这里为了突显测试结果，创建了2个不同格式的文档。

txt文档内容为

高克莱是一个程序员，高克莱养了三只猫。

word文档内容为

第一只猫叫可乐第二只猫叫雪碧第三只猫叫芬达

在这里插入图片描述

在工作区点击上传图标

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

保存并嵌入后，务必要点击需要参与检索的文档右侧的【Pin to workspace】图标与当前工作区进行关联，这样大模型在检索生成回答内容时会优先参考该文档内容，如果未点击，则只是将文档存储到了全局库中，并不参与检索

在这里插入图片描述

在这里插入图片描述

3.5 测试对话

在这里插入图片描述

部署完成

http://www.dtcms.com/a/320072.html

相关文章：

  • Linux综合练习2
  • 电气设备与互感器全解析
  • 智能制造网络质量保障：德承 DX-1200多网口工控机在windows系统下的网络性能测试指南
  • 操作系统与并发底层原理多道技术
  • docker容器导出为镜像
  • 深度学习入门Day7：Transformer架构原理与实战全解析
  • 亚马逊广告运营：有什么好用的辅助工具
  • Redis配置、测试及分布式缓存实现
  • Android 之 Jetpack - Paging
  • 《C语言》函数练习题--2
  • ElasticSearch相关术语介绍
  • 使用 decimal 包解决 go float 浮点数运算失真
  • 小鸡模拟器安卓版：经典街机游戏的移动体验
  • 利用Axure与JavaScript打造动态图片上传原型：设计案例分享
  • spring-cglib代理-初探01
  • 深度学习-卷积神经网络CNN-1×1卷积层
  • Flink-1.19.0源码详解9-ExecutionGraph生成-后篇
  • UE5多人MOBA+GAS 39、制作角色上半身UI
  • 字符串匹配(重点解析KMP算法)
  • 6 大模块！重构物业运营方式
  • 跨境电商增长突围：多维变局下的战略重构与技术赋能
  • 数智先锋 | Bonree ONE 赋能通威股份有限公司提升全栈可观测性能力
  • 深入解析NVIDIA Nsight工具套件：原理、功能与实战指南
  • 房产证识别在房产行业的技术实现及应用原理
  • Python Socket 脚本深度解析与开发指南
  • 扣扣号码展示网站源码_号码售卖展示系统源码 全开源 带后台（源码下载）
  • 5、倒计时翻页效果
  • 工作任务管理
  • 《C语言》指针练习题--1
  • Python入门Day17：函数式编程（map/filter/reduce/lambda）