windows下玩转vllm：在wsl下安装vllm后续，设置modelscope作为下载源
文章目录
- 前言
-
- 所涉及的之前的关键步骤
- 解决模型权重下载网络不通畅的问题
- vllm和modelscope整合后的bug
- 附录 ImportError: cannot import name '_try_login' from 'modelscope.utils.hf_util' 全部报错信息
前言
之前，咱们说了，由于windows不支持直接部署vllm，所以要么采用wsl，要么采用docker。我们目前尝试的是在wsl下进行vllm的安装。
所涉及的之前的关键步骤
wsl
启动默认wsl分发👆
source vllm/bin/activate
激活咱之前创建的虚拟环境。
解决模型权重下载网络不通畅的问题
咱们还说了，vllm默认是可以自己去网上下载模型的权重文件的。只不过会从huggingface下载。但是呢，我们经常会遇到huggingface无法访问的情况，因此可以使用
export VLLM_USE_MODELSCOPE=True
来设置modelscope而非huggingface作为模型权重下载的源头。
vllm和modelscope整合后的bug
理论上来说，我们只需要再执行：
vllm serve Qwen/Qwen2.5-0.5B-Instruct
就可以。
但我这里遇到了一个错误