Dify - Embedding Rerank

注意：v100显卡会出现不适配，不推荐使用

 1. 安装 Docker

ubuntu 22.04 docker 安装&使用_ubuntu22.04 安装docker-CSDN博客

 2. 安装vllm

pip install -U xformers torch torchvision torchaudio triton --index-url https://download.pytorch.org/whl/cu121
pip install modelscope vllm 

3. 下载nlp_gte_sentence-embedding_chinese-base开源模型

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('iic/nlp_gte_sentence-embedding_chinese-base')

4. 部署Dify到本地

git clone https://github.com/langgenius/dify

启动 Dify

1. 进入 Dify 源代码的 Docker 目录

   cd dify/docker
   

2. 复制环境配置文件

   cp .env.example .env
   

3. 启动 Docker 容器

   根据你系统上的 Docker Compose 版本，选择合适的命令来启动容器。你可以通过 $ docker compose version 命令检查版本，详细说明请参考 Docker 官方文档：

   • 如果版本是 Docker Compose V2，使用以下命令：

   docker compose up -d
   

   • 如果版本是 Docker Compose V1，使用以下命令：

   docker-compose up -d
   

运行命令后，你应该会看到类似以下的输出，显示所有容器的状态和端口映射，通过这些步骤，你可以在本地成功安装 Dify。

修改端口：

 如果使用云服务器请先确认暴露端口

以闪电云为例：

sudo apt install rinetd
echo "0.0.0.0 8880 127.0.0.1 9000" > /etc/rinetd.conf
sudo systemctl restart rinetd

更新 Dify

进入 dify 源代码的 docker 目录，按顺序执行以下命令：

cd dify/docker
docker compose down
git pull origin main
docker compose pull
docker compose up -d

访问 Dify

你可以先前往管理员初始化页面设置设置管理员账户：

# 本地环境
http://localhost/install# 服务器环境
http://your_server_ip/install

Dify 主页面：

# 本地环境
http://localhost# 服务器环境
http://your_server_ip

 5. 启动 vLLM 的 OpenAI 兼容服务

启动vllm服务 

vllm serve /root/.cache/modelscope/hub/models/iic/nlp_gte_sentence-embedding_chinese-base --port 8000 --dtype float16

6.使用OpenAl-API-compatible插件在内网部署

 7. 知识库部署Embedding模型

嵌入成功！ 

 8. 下载mxbai-rerank-large-v2开源模型

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('mixedbread-ai/mxbai-rerank-large-v2')

 

 9. 启动 vLLM 的 OpenAI 兼容服务

启动vllm服务 

vllm serve /root/.cache/modelscope/hub/models/mixedbread-ai/mxbai-rerank-large-v2 --port 7000 --dtype float16