Debain-12.9使用xinference部署音频模型/audio

基础环境准备

基础环境安装

下载模型

modelscope download --model 'openai-mirror/whisper-small' --local_dir 'openai-mirror/whisper-small'

部署模型

xinference launch --model-path ~/ollama/openai-mirror/whisper-small --model-name whisper-small --model-uid whisper-small --model-type audio --api-key vl-5bgrMOCJ5OSBKQV5XbHz --endpoint "http://127.0.0.1:19997"

注册服务

注册dify模型

需要先安装插件Xorbits Inference