linux系统下openwebui重启并使用本地模型(vllm或其他)
openwebui使用ollama模型很方便,但ollama有漏洞,所以我使用了本地部署的vllm模型。
首先是关掉openwebui,查看系统8080端口占用进程的pid
lsof -i : 8080
kill -9 pid
启动vllm模型后
打开openwebui的界面,选择外部链接
url要写到v1,他默认会加上/chat/completions,模型名称写model name点击加号,然后保存就可以了,查看模型里的模型是否添加上