开福区城乡建设局门户网站互联网推广是什么

---

前言

之前，咱们说了，由于windows不支持直接部署vllm，所以要么采用wsl，要么采用docker。我们目前尝试的是在wsl下进行vllm的安装。

所涉及的之前的关键步骤

wsl

启动默认wsl分发👆

source vllm/bin/activate

激活咱之前创建的虚拟环境。

解决模型权重下载网络不通畅的问题

咱们还说了，vllm默认是可以自己去网上下载模型的权重文件的。只不过会从huggingface下载。但是呢，我们经常会遇到huggingface无法访问的情况，因此可以使用

export VLLM_USE_MODELSCOPE=True

来设置modelscope而非huggingface作为模型权重下载的源头。

vllm和modelscope整合后的bug

理论上来说，我们只需要再执行：

vllm serve Qwen/Qwen2.5-0.5B-Instruct

就可以。

但我这里遇到了一个错误