Debain-12.9使用xinference部署重排模型/rerank

基础环境准备

基础环境安装

下载模型

modelscope download --model 'BAAI/bge-reranker-v2-m3' --local_dir 'BAAI/bge-reranker-v2-m3'

部署模型

xinference launch --model-path ~/ollama/BAAI/bge-reranker-v2-m3 --model-name bge-reranker-v2-m3 --model-uid bge-reranker-v2-m3 --model-type rerank --trust-remote-code TRUE --api-key vl-5bgrMOCJ5OSBKQV5XbHz --endpoint "http://127.0.0.1:19997"

注册服务

注册dify模型

需要先安装插件Xorbits Inference