在 Windows 10 中通过 WSL2 安装 vLLM 部署本地大模型的方法和步骤
在 Windows 10 中通过 WSL2 安装 vLLM 部署本地大模型,需完成 WSL2 配置、GPU 加速启用、依赖安装、模型部署 四个核心环节,具体步骤如下:
一、前置条件(必须满足)
-
硬件要求
- GPU:NVIDIA 显卡(支持 CUDA Compute Capability ≥ 7.0,如 RTX 2080 及以上,推荐 RTX 3090/4090 或专业卡),显存 ≥ 10GB(7B 模型)/24GB(13B 模型)/40GB(32B 模型,量化后可降低需求)。
- CPU:≥ 8 核(推荐 12 核以上),内存 ≥ 16GB(32GB 以上更佳,避免模型加载时内存溢出)。
- 硬盘:预留 ≥ 100GB 空间(模型文件 + 系统 + 依赖)。
-
软件要求
- Windows 10 版本 ≥ 21H2(通过「设置 → 系统 → 关于」查看,低于此版本需升级)。
- 已安装 NVIDIA 显卡驱动(Windows 端,版本 ≥ 510.06,推荐 530+,支持 WSL2 GPU 加速)。
二、步骤 1:启用并配置 WSL2
1. 启用 WSL2 相关功能
以 管理员身份 打开 PowerShell,执行以下命令启用 WSL、虚拟机平台和 Linux 子系统:
# 启用 WSL 功能
dism.exe /online /enable-feature /featurename:Microsoft-Hyper-V /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
执行后 重启电脑 使功能生效。
2. 安装 WSL2 内核更新包
下载并安装 WSL2 内核更新包(适用于 x64 系统),安装完成后设置 WSL2 为默认版本:
wsl --set-default-version 2
3. 安装 Ubuntu 发行版
打开 Microsoft Store,搜索并安装 Ubuntu 22.04 LTS(推荐,兼容性最佳)。安装完成后,首次启动会提示设置用户名和密码(记录此密码,sudo 操作需用)。
4. 验证 WSL2 版本
在 PowerShell 中执行:
wsl --list --verbose