当前位置：首页 > news >正文

Ollama+Deepseek+Docker+RAGFlow打造自己的私人AI知识库

news 2025/8/11 7:51:30

打造自己的AI知识库

架构

Ollama+Deepseek+Docker+RAGFlow

部署大模型

下载并安装Ollama

官网地址：Download Ollama on Windows

选择合适版本进行下载安装（注意修改模型下载位置）

在这里插入图片描述

Ollama环境变量配置

增加两个环境变量（rag访问ollama需要）

OLLAMA_HOST：0.0.0.0:11434
OLLAMA_MODELS：E:\AIData\OllamaModels

在这里插入图片描述

部署大模型DeepSeek-R1-Distill-Qwen-14B-GGUF:Q6_K

基于自己硬件配置选择合适的大模型，此大模型适合12g显存，个人可选择量化模型，精度损失不高，速度更快，显存要求大幅下降

ollama run hf.co/bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q6_K

在这里插入图片描述

部署RAG

RAG下载

克隆仓库：ragflow/README_zh.md at main · infiniflow/ragflow

$ git clone https://github.com/infiniflow/ragflow.git

在这里插入图片描述

找到安装文件，由于默认轻量版无embedding模型，要改写配置

在这里插入图片描述

下载并安装Docker

Windows | Docker Docs

在这里插入图片描述

配置镜像加速器（不配的话，会经常超时失败）
在这里插入图片描述

{"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"features": {"buildkit": true},"insecure-registries": [],"registry-mirrors": ["https://docker.1ms.run"]
}

拉取RAG镜像

执行命令：

$ cd ragflow/docker
# Use CPU for embedding and DeepDoc tasks:
$ docker compose -f docker-compose.yml up -d# To use GPU to accelerate embedding and DeepDoc tasks:
# docker compose -f docker-compose-gpu.yml up -d

在这里插入图片描述
到这里就已经完全部署好了，剩下的就在页面配置了