DeepSeek辅助测试测试一 -- DeepSeek加MaxKB知识库本地部署
文章目录
- 前言
- 任务拆解
- 最终目标
- 两种技术路径对比
- 知识库检索增强（RAG） + 大语言模型
- 构建知识库加本地部署DeepSeek
- 目前的问题
前言
开工已经两周啦，开始慢慢的进入工作状态了，新的一年大家一起加油吧~
任务拆解
最终目标
训练一个关于测试的垂直领域的专用模型或对话系统（Chatbot）。
两种技术路径对比
- 知识库检索增强（RAG） + 大语言模型
- 领域微调（Fine-tuning） + 知识库辅助
这里我目前选择的是技术路线1，原因如下：
- RAG + 大语言模型是能最快落地应用的，不需要花费精力标注数据以及算力要求来训练模型
- 目前我的知识库还不全面，需要频繁更新，技术路线1适合知识更新频繁或数据标注不足的场景
知识库检索增强（RAG） + 大语言模型
- 使用Dify部署，大语言模型接口＋云端知识库。一开始是用的这种方法，优点就是便捷，但是后面因为Dify知识库的限制，本地上传文档单文档的上传大小限制为 15MB，且免费版本文件上传数量有限，遂放弃。
- 本地部署知识库加大语言模型，可行，MaxKB知识库单文档的上传大小限制为 100MB且不限制上传数量。这种模式大模型、知识库和文档全部运行在本地，所以公司内的业务数据不会泄密，个人隐私不会泄密。
构建知识库加本地部署DeepSeek
具体我是参照的这篇文章👉喂饭级教程！零代码搭建本地个人知识库 ，支持GPT4、Llama3、Kimi等十几种大模型
其中Ollma 安装 deepseek-r1 模型可参照这篇文章👉【DeepSeek应用】DeepSeek R1 本地部署（Ollama+Docker+OpenWebUI）
Docker汉化👉Docker Desktop 的安装与汉化指南
PS:我为啥不自己吧安装过程记录下来呢？Emmm，不好意思我忘了，下次一定！
PPS：我用的clash所以不要配置镜像，之前使用conda时配置国内镜像下包总是会出现莫名其妙的网络错误，所以后来我都不配置镜像了，个人经验，如果没有梯子还是老实配镜像吧。
这是我根据教程配完的Chatbot：
下面是我在安装过程中遇到的几个问题：
- docke下载后
docker pull hello-world失败报错如下：
Unable to find image 'hello-world:latest' locally
docker: Error response from daemon: Get "https://registry-1.docker.io/v2/": EOF.
See 'docker run --help'.
我遇到问题的情况是登陆了Docker，但是界面上还是显示未登录状态如下：
解决办法：退出重新登录，页面出现如下状态即可：
- Ollama下载DeepSeek-R1 7b报错：
Error: model requires more system memory (5.5 GiB) than is available (3.9 GiB)
原因是电脑的内存不够用了，我的轻薄本内存为16g；解决办法：关闭了一些网页和应用。同样在MaxKB里配置Chat
目前的问题
- 本地部署运行起来速度太慢了，若是16g内存的轻薄本需要关闭大部分应用，在实际的应用中非常不方便。
- 问到需要引用知识库的文件的情况时，生成结果的速度太慢了且不全。
解决办法： - 考虑本地知识库加大语言模型接口的方法
- Chatbot的个性化配置以及知识库的分段需要优化