亲测!我是如何用 Anything LLM 等搭建 AI 智能知识库的
以下是本地部署Anything LLM+Ollama+DeepSeek R1打造AI智能知识库的教程:
安装Ollama
- 下载Ollama:浏览器进入ollama.com主页,点击页面右上角或中间下端黑底的“Download”。选择对应的系统图标,如Windows用户点击“Download for Windows”下载PC版到本地。
- 安装Ollama:下载完成后,点击安装文件,按照安装向导的提示,一路点击“下一步”等按钮完成安装。
- 验证安装:在电脑下端任务栏搜索窗口里输入“cmd”,点击“命令提示符”,进入DOS会话界面,输入“ollama -v”,出现版本号说明安装成功。
配置DeepSeek R1模型
- 下载DeepSeek R1模型:访问ollama.com网页,点击“Models”,选择合适的DeepSeek R1版本,如普通用户可选择1.5b版本,点击右侧的“复制”按钮。回到DOS对话框,使用“Ctrl + V”粘贴刚才复制的内容,然后回车,开始下载。
- 启动模型:在命令行输入“ollama run deepseek-r1:7b”,若没有下载过该模型会直接下载,已下载过则直接启动。
安装Anything LLM
- 下载Anything LLM:访问anythingllm.com/desktop,选择适配电脑系统的版本进行下载,如Windows版。
- 安装Anything LLM:下载完成后,找到安装文件,双击运行,按照安装向导的提示,一路点击“下一步”等按钮,直至安装完成。
搭建AI智能知识库
- 配置Anything LLM参数:点击Anything LLM首页的设置按钮,进入参数配置。LLM模型选择Ollama deepseek r1 7b模型;Embedding首选项选择默认的AnythingLLM Embedder;向量数据库选择默认的Lance DB。其他参数如文本分割大小、文本块重叠等可根据文本实际情况设置。
- 新建工作区并上传相关文档:新建工作区,根据用途命名。然后上传构建知识库所需的各种格式文档,如PDF、Word、TXT、PPT、Excel等。点击“Embedding转换”,将文档转换为向量表示并保存。
- 和私有知识库进行对话:回到主界面,可看到新建的知识库,新建对话框,即可开始和知识库对话,输入问题,知识库会检索相关信息并生成回答。