vllm+openwebui，玩转私有化AI

架构

采用vllm推理框架，启动llamafactory微调训练好的大模型

openwebui做前端调用

使用

vllm启动：vllm serve /root/autodl-tmp/model/Qwen/Qwen2.5-VL-3B-Instruct-merge（模型地址）

安装open webui流程

#创建一个open-webui的conda环境
conda activate open-webui
# 安装open-webui
pip install -U open-webui torch transformers

# 切换到新建的环境
conda activate open-webui
#配置
export HF_ENDPOINT=https://hf-mirror.com
#因为open-webui默认为ollama框架，所以使用vllm框架启动大模型的话需要将这里改为false
export ENABLE_OLLAMA_API=false
#调用大模型的地址，vllm的默认启动端口为8000
export OPENAI_API_BASE_URL=http://127.0.0.1:8000/v1

#启动openwebui
open-webui serve

启动openwebui后，如果没有跳转到web页面的话，需要自己手动配置一下8080端口转发

然后再去访问8080端口，就会出现这个页面，这个是随便输入的

然后就可以跟大模型进行对话