利用Ollama+AnythingLLM+本地向量数据库Milvus+本地DeepSeek大模型实现知识库的搭建
1. Ollama的搭建
基本介绍
Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。用户只需一行命令就可以启动模型。
Ollama 下载：https://ollama.com/download
Ollama 官方主页：https://ollama.com
Ollama 官方 GitHub 源代码仓库：https://github.com/ollama/ollama/
安装完成之后，打开一个cmd命令窗口，输入“ollama”命令，如果显示ollama相关的信息就证明安装已经成功了！
常见指令：
ollama serve #启动ollama
ollama create #从模型文件创建模型
ollama show #显示模型信息
ollama run #运行模型
ollama pull #从注册表中拉取模型
ollama push #将模型推送到注册表
ollama list #列出模型
ollama cp #复制模型
ollama rm #删除模型
ollama help #获取有关任何命令的帮助信息
2. 利用Ollama安装DeepSeek
在dos窗口下，输入：
ollama run deepseek-r1:8b
3. 安装AnythingLLM
直接安装以后，就可以看到
文档上传解析
4. Window安装Milvus
Milvus简介
Milvus是一款开源的向量数据库，具有高度的灵活性、稳定可靠性以及高速查询等特点。它支持针对TB级向量的增删改操作和近实时查询，适用于大规模向量数据的存储和检索。
Milvus集成了多种广泛应用的向量索引库，如Faiss、NMSLIB和Annoy等，并提供了简单直观的API，用户可以根据不同场景选择适合的索引类型。此外，Milvus还可以对标量数据进行过滤，进一步提高召回率，增强搜索的灵活性。
Milvus被广泛应用于多个领域，包括图像处理、机器视觉、自然语言处理、语音识别、推荐系统以及新药发现等。它的源代码托管在Github上，这使得社区可以轻松地访问、使用和贡献代码。
官网：https://milvus.io/zh
安装步骤
- 先安装docker Desktop
- 然后下载milvus-standalone-docker-compose.yml
下载完成后得到的是一个milvus-standalone-docker-compose.yml文件，需要重命名为docker-compose.yml，然后将yml文件复制到工作路径下：
- 然后打开命令行终端，cd到你的文件目录下，运行下面代码
docker-compose up -d
- 等待一段时间，就可以去查看doker，或者终端输入
docker-compose ps
- 安装客户端工具attu
执行命令，加个 -d 在后台运行
docker run -d -p 8000:3000 -e MILVUS_URL=127.0.0.1:19530 zilliz/attu:v2.2.8
或者Window安装，地址如下：
https://download.csdn.net/download/wu2374633583/90456544