Deepseek R1 等大模型本地部署+本地知识库 学习笔记
Deepseek R1 等大模型本地部署+本地知识库 学习笔记
主要记录博主学习Deepseek本地部署+本地知识库的过程。
一、Deepseek R1 等大模型本地部署
1.1 下载ollama
下载地址：https://ollama.com/download
1.2 打开下载好的exe文件，安装ollama
注：无法修改安装路径，默认安装在C盘。
1.3 检验是否安装成功
打开PowerShell
安装成功页面，如下：
1.4 下载模型
如图，选择合适参数的模型，然后将右边的指令进行复制，建议新手从小参数量模型开始着手。
粘贴在PoweShell命令行窗口，执行
下载需要一定时间，等待下载安装完成，看到下图success就表示
现在就本地部署好了，就可以在这个命令行窗口与其进行交流，例如如下：
但是可以看到这个用户交互的界面，并不是很美观直白。
二、借助AnythingLLM，呈现更简洁直观的UI
下载地址：https://anythingllm.com/
注：有些时候会提醒你确认下载文件是否安全，选依旧保留即可。
下载好，点击打开，自行安装即可。
2.1 打开桌面的AnythingLLM，进行配置
注：以上电子邮箱和工作区名字可以随便取，然后点击下一步。
点击左侧，我们刚刚创建的工作区，与其本地部署的大模型进行对话，例如：
输入问题，发现在思考过程中，我们电脑硬件资源疯狂运行。
2.2 切换大语言模型
由于有非常多预训练的大语言模型，如果是需要更换使用的大语言模型，例如通义千问等，可以如下进行切换：
上图，由于博主当前并未下载其它模型，所以就只显示只有这一个模型，如果有下载其它模型的话，下拉框会有所有下载的模型进行选择。
三、本地RAG知识库
RAG简介：RAG 是 Retrieval-Augmented Generation（检索增强生成）的缩写。它是一种结合了信息检索（Retrieval）与文本生成（Generation）技术的人工智能方法，旨在提升生成内容的质量和准确性。
RAG的工作流程：
- 用户提问：接收问题输入（如“RAG是什么？”）。
- 检索阶段（Retrieval）：
将问题转换为向量或关键词，从知识库中匹配最相关的文档或段落。
常用工具：Elasticsearch、FAISS（高效相似性搜索库）等。 - 增强生成：
将检索到的信息与原始问题拼接，输入生成模型。
模型结合两者生成最终回答，例如：“RAG是检索增强生成技术，通过结合检索外部知识库……”
3.1 下载必要组件，以支持RAG。
回到PowerShell,执行命令ollama pull nomic-embed-text
下载好嵌入模型之后，回到AnythingLLM配置此嵌入模型，如下：
3.2 上传本地知识库（实验用）
上传本地知识库，支持文件格式如图，.text、.csv等。
3.3 对比有无个人知识库的差异
3.3.1 没有加入个人知识库
大语言模型的回答，如下
3.3.2 加入个人知识库
大语言模型的回答，如下：
注：为避免原有的上下文干扰，我重新创建了一个线程，可以理解为创建了一个新的聊天窗口。
当我问他同样的问题：“你叫什么名字？”
如上图，他很好地基于我本地的“个人知识库”，进行了回答。
本案例用到的简单个人知识库
仅作为示范用，如下：
3.4 个人探索（实验）
个人好奇，测试了一下模型是否能辨别个人知识库中的一些错误信息？
如下图，我在本地知识库中，有意写入错误信息，1+1=3
然后向模型进行提问1+1=？
发现模型并不是完全依赖个人知识库，会有一定的自己思考与辨别能力，最终给出了正确的答案。
过年期间本来就想写这篇，可惜拖延症犯了哈哈哈；感觉大语言模型还是很有意思的，希望和大家一块学习，探索更多有趣的应用！