当前位置: 首页 > news >正文

Ollama + CherryStudio:构建本地私有知识库

       前面我们介绍了Ollama的安装和使用,并通过Open-WebUI进行调用,相信大家对Ollama也有了一定的了解;这篇博文就结合Ollama工具和CherryStudio工具构建一个本地知识库(RAG);在进行接下来的操作之前,需要本地已经安装并配置好Ollama工具,还没有安装的小伙伴可以根据这篇博客完成本地安装;

一、下载模型 

       要构建本地私有知识库需要用到两个模型,一个是用于总结、生成文本的大语言模型,另外一个则是将本地知识进行特征化转换的Embedding模型;下面我们就通过Ollama来拉取这两种模型到本地;

1.1 启动Ollama

ollama serve

1.2 拉取大语言模型 

       登陆Ollama官网,选择适合的大语言模型,这里以deepseek- R1-1.5B为例,复制拉取命令到终端拉取模型;

1.3 拉取词嵌入模型(Embedding) 

       在Ollama官网的Models导航栏选择Embedding选项,选择适合的模型和上述相同的方式进行本地拉取;这里以bge-m3为例;

       拉取到本地后,我们在终端通过‘ollama list’来查看本地模型列表,如下所示可以看到这两个模型已经全部拉取到本地; 

 二、CherryStudio

       Cherry Studio 是一款支持多个大语言模型(LLM)服务商的桌面客户端,兼容 Windows、Mac 和 Linux 系统;

官方网站
Github

2.1 下载并安装

       登陆CherryStudio官网,下载对应系统的安装包,按照安装提示进行本地安装;

2.2 适配Ollama

       本地打开CherryStudio工具,如下图按顺序依次点击;

       在管理界面,选择刚刚拉取的两个模型进行添加;

2.3 添加知识库

       这里需要自己提供一个txt格式的文本文件,文本文件的内容就是需要部署的知识库文本,以问答的形式进行呈现,这里简单展示一下事例:

# knowledge.txt

1.**什么是Ollama?**
 -Ollama 是一个开源的本地大语言模型(LLM)运行框架,允许用户在自己的计算机上轻松部署和运行各种大型语言模型,如 LLaMA、Mistral 等。
2.**Ollama支持哪些操作系统?**
 -它支持多种操作系统,包括 Windows、macOS 和 Linux,并提供了命令行界面和 REST API 接口;
3.**如何安装使用Ollama工具?**
 -请参考《Ollama:大模型部署工具安装及使用》这篇博客;

       按照下图所示依次点击并添加提示信息,完成知识库添加;

        

       接下来添加上面的 knowledge.txt文件,如下:

2.4 运行

       所有配置都完成之后,我们就可以基于私有知识库进行问答了;如下图按照序号依次选择开启对话,选择大语言模型为Ollama导入的deepseek-R1:1.5B模型;

       点击下方的知识库图标,选择已添加的知识库;

 

2.5 效果展示 

       这样以来,大模型就会参考私有化知识库的内容进行作答了;这里只是简单的介绍了一下私有化知识库的部署流程,大家可以根据这个流程深化自己的知识库,达到很高的输出效果~

相关文章:

  • 攻克 3D 模型网站建设难题,看迪威系统优势
  • 台达PLC转太网转换的教程案例(台达DVP系列)
  • 【WEB APIs】BOM-操作浏览器
  • Linux 操作系统简介
  • GLOW-TTS
  • gitlab将本地项目提交到远程dev分支
  • 基于SpringBoot + Vue 的图书商城系统
  • Word 小黑第20套
  • Java 买百鸡问题
  • 基于大模型的鼻中隔偏曲预测及手术治疗方案研究报告
  • Linux目录结构以及文件操作
  • Android 11.0 监听某个app启动获取应用使用时长功能实现
  • iStore插件的使用和编译
  • LeetCode hot 100—验证二叉搜索树
  • 【DFS】二叉树中的深搜
  • 【实测闭坑】LazyGraphRAG利用本地ollama提供Embedding model服务和火山引擎的deepseek API构建本地知识库
  • 【自定义微信小程序拉下选择过滤组件】searchable-select
  • Spring Boot 整合 Elasticsearch:打造高性能全文检索实战
  • SQL优化记录
  • 【Go语言圣经3.6】
  • 专家分析丨乌美签署矿产协议,展现美外交困境下的无奈
  • 王毅谈金砖国家开展斡旋调解的经验和独特优势
  • 三家“券商系”公募同日变更掌门人,新董事长均为公司股东方老将
  • 国台办:民进党当局所谓“对等尊严”,就是企图改变两岸同属一中
  • 神舟十九号航天员乘组平安抵京
  • 五部门:开展新就业形态劳动者劳动权益保障水平提升专项行动