Ollama DeepSeek + AnythingLLM 实现本地私有AI知识库

本文主要介绍了如何使用AnythingLLM结合Ollama部署的DeepSeek-r1模型来实现私有的本地AI知识库。

本地部署DeepSeek-r1

使用ollama本地部署deepseek-r1:7b模型：

ollama pull deepseek-r1:7b

下载完成后无需手动启动。AnythingLLM会自动运行配置好的ollama模型。

• deepseek部署教程：https://gottdeskrieges.blog.csdn.net/article/details/145462161
• ollama软件默认安装路径：C:\Users\<用户名>\AppData\Local\Programs\Ollama
• ollama下载的模型默认保存位置：C:\Users\<用户名>\.ollama\models

常用的ollama命令：

ollama list   # 列出已下载的模型 
ollama ps     # 列出正在运行的模型

ollama pull deepseek-r1:7b   # 下载模型
ollama run deepseek-r1:7b    # 运行模型
ollama stop deepseek-r1:7b   # 停止运行模型

ollama rm deepseek-r1:7b     # 删除模型

下载安装AnythingLLM

• AnythingLLM官方下载：https://anythingllm.com/desktop
• AnythingLLM软件默认安装路径：C:\Users\<用户名>\AppData\Local\Programs\AnythingLLM
• AnythingLLM数据默认存储位置：C:\Users\<用户名>\AppData\Roaming\anythingllm-desktop\storage

下一步安装完成后会看到下面的首页。

AnythingLLM 配置

LLM首选项

1. 在LLM Preference中选择Ollama。

2. AnythingLLM会自动识别出Ollama下载到本地的AI大模型。在Ollama Model中选择已经下载好的deepseek-r1:7b。

3. 点开advanced settings，确认Ollama Base URL信息是否准确。

Embedder首选项

4. 词嵌入模型（Embedding Preference）选择AnythingLLM Embedder。该配置后面也可以更改。

向量数据库

5. 向量数据库（Vector Database）选择LanceDB。该配置后面也可以更改。

工作区

6. 命名你的第一个Workspace。

其他配置

7. 看到下面的页面就表示的你的AnythingLLM初始化配置完成啦！

点击左下角的扳手图标可以修改配置。

📖 外观选项卡里可以更改默认显示语言为中文。

📖 AI Providers选项卡里可以修改LLM首选项、Embedder首选项、向量数据库配置。

AnythingLLM Workspace使用

你的工作区长下面这样。看起来是不是像一个聊天机器人的对话框？默认使用default对话。点击New Thread可以新建一个对话。

上传知识

1. 点击upload a document或者工作区的分享图标可以向当前的Workspace添加知识。上传的知识可以是txt、csv、PDF、图片、或者音频文件，也可以是网页链接。

2. 勾选已经上传的文档，并点击 Move to Workspace 将上传的文档移动到当前的工作区。

词嵌入

3. 点击右下角的 Save and Embed 来对上传的知识进行词嵌入处理，并保存到向量数据库。

4. 等待词嵌入完成后，点击右上角的叉号关闭知识上传的小窗口。整个词嵌入过程的耗时取决于上传知识的文件大小、以及本地机器的物理配置（CPU/内存/显存）。

知识检索

5. 在工作区的default会话中提问。AnythingLLM会自动调起ollama本地部署的deepseek模型，并检索上传的知识来回答。

6. 点击Show Citations可以看到此次回答引用的本地知识。

如果长时间没有对话，AnythingLLM也会自动停止后台的deepseek模型运行。

以上。