私有化部署dify + DeepSeek-R1-Distill-Qwen-32B + bge-m3
1. 摘要
Dify是一款开源的大语言模型(LLM)应用开发平台。可以快速搭建生产级的生成式AI应用。Dify内置了构建LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的Prompt编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排，并同时提供了一套易用的界面和API。
在linux环境中使用docker部署dify v1.1.0版本，vllm部署DeepSeek-R1-Distill-Qwen-32B，ollama部署bge-m3，并在dify中配置deepseek和bge-m3。
2. 安装docker和docker compose
没有安装docker和docker compose的可以参考：安装docker和docker-compose以及docker常用命令总结-CSDN博客
3. 安装dify
3.1 下载dify程序
git clone https://github.com/langgenius/dify.git
3.2 用docker- compose安装dify
cd dify/docker
cp .env.example .env
sudo docker-compose up –d
运行命令后，你应该会看到类似以下的输出，显示所有容器的状态和端口映射：
检查是否所有容器都正常运行：
sudo docker compose ps
3.3 运行sudo docker-compose up -d可能遇到的几个错误
3.3.1 第一个错误
unexpected character "%" in variable name near "%H:%M:%S\n# Log Timezone\nLOG_TZ=UTC\n\n# Debug mode, default is false.\n
解决方法：
打开.env文件
把：
LOG_DATEFORMAT=%Y-%m-%d %H:%M:%S
修改成：
LOG_DATEFORMAT='%Y-%m-%d %H:%M:%S'
3.3.2 第二个错误
requests.exceptions.InvalidURL: Not supported URL scheme http+docker
解决方法：
报这个错误的时候，我的docker-compose版本是1.29.2，把docker-compose升级到最新版本，完美解决这个错误。
4. 用vllm部署DeepSeek-R1-Distill-Qwen-32B
具体的部署方法参考：使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B-CSDN博客和vllm多卡部署qwen2.5-72b-instruct_vllm部署qwen2.5-72b-CSDN博客
5. 用ollama部署bge-m3
5.1 ollama的安装和启动参考：使用ollama部署DeepSeek-R1-Distill-Qwen-1.5B_ollama deepseek-r1-distill-qwen-1.5b-CSDN博客
5.2 安装bge-m3
启动ollama以后，运行以下命令：
ollama pull bge-m3
6. 访问dify
6.1 前往管理员初始化页面设置设置管理员账户
# 本地环境
http://localhost/install
# 服务器环境
http://your_server_ip/install
6.2 Dify主页面
# 本地环境
http://localhost
# 服务器环境
http://your_server_ip
6.3 在dify中配置deepseek和bge-m3
在模型供应商中安装vllm和ollama，然后在vllm中配置我们刚才在服务器上部署的DeepSeek-R1-Distill-Qwen-32B，在ollama中配置我们刚才在服务器上部署的bge-m3。
7. 后续dify更新
cd dify/docker
sudo docker-compose down
git pull origin main
sudo docker-compose pull
sudo docker-compose up –d