太平保险网站网络推广服务费
文章目录
- 前言
- 安装wsl
- 启动wsl的默认分发
- 使用python部署vllm
- 创建并激活虚拟环境
- 直接说结论
- 试错过程
- 安装vllm
- 简单测试一下，看看行不行
- 附录，安装wsl
- 安装ubuntu分发
- 步骤 3: 设置用户和密码
- 步骤 4: 更新系统
- 步骤 5: 使用 WSL
前言
当前，部署通义千问2.5-vl已经是一件箭在弦上，不得不发的事儿了。
网上搜了一下，发现还是用vllm用的比较多。
于是乎，这就开始尝试部署vllm。
但是我们之前说了，vllm是不支持直接在windows上部署的，我们还得搞wsl或者docker。
咱今天先尝试使用wsl进行安装哈。
安装wsl
这个咱之前写过，我直接粘贴到附录里。有需要的，可以先滑倒最后查看哈（这部分是直接用的之前的文章。如果安装过程中出现任何问题，请评论区留言，或者进群提问）。咱姑且认为大家都装好wsl了，所以我们继续往下走。
启动wsl的默认分发
wsl
