当前位置: 首页 > news >正文

在 Windows 10 中通过 WSL2 安装 vLLM 部署本地大模型的方法和步骤

在 Windows 10 中通过 WSL2 安装 vLLM 部署本地大模型,需完成 WSL2 配置、GPU 加速启用、依赖安装、模型部署 四个核心环节,具体步骤如下:

一、前置条件(必须满足)

  1. 硬件要求

    • GPU:NVIDIA 显卡(支持 CUDA Compute Capability ≥ 7.0,如 RTX 2080 及以上,推荐 RTX 3090/4090 或专业卡),显存 ≥ 10GB(7B 模型)/24GB(13B 模型)/40GB(32B 模型,量化后可降低需求)。
    • CPU:≥ 8 核(推荐 12 核以上),内存 ≥ 16GB(32GB 以上更佳,避免模型加载时内存溢出)。
    • 硬盘:预留 ≥ 100GB 空间(模型文件 + 系统 + 依赖)。
  2. 软件要求

    • Windows 10 版本 ≥ 21H2(通过「设置 → 系统 → 关于」查看,低于此版本需升级)。
    • 已安装 NVIDIA 显卡驱动(Windows 端,版本 ≥ 510.06,推荐 530+,支持 WSL2 GPU 加速)。

二、步骤 1:启用并配置 WSL2

1. 启用 WSL2 相关功能

以 管理员身份 打开 PowerShell,执行以下命令启用 WSL、虚拟机平台和 Linux 子系统:

# 启用 WSL 功能
dism.exe /online /enable-feature /featurename:Microsoft-Hyper-V /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

执行后 重启电脑 使功能生效。

2. 安装 WSL2 内核更新包

下载并安装 WSL2 内核更新包(适用于 x64 系统),安装完成后设置 WSL2 为默认版本:

wsl --set-default-version 2
3. 安装 Ubuntu 发行版

打开 Microsoft Store,搜索并安装 Ubuntu 22.04 LTS(推荐,兼容性最佳)。安装完成后,首次启动会提示设置用户名和密码(记录此密码,sudo 操作需用)。

4. 验证 WSL2 版本

在 PowerShell 中执行:

wsl --list --verbose

文章转载自:

http://aN9Ux7DT.jnptt.cn
http://S2r5LCN5.jnptt.cn
http://LxWKr4x0.jnptt.cn
http://SSvUBpaY.jnptt.cn
http://bnM0I2yX.jnptt.cn
http://BAXxX1Df.jnptt.cn
http://1yjqdaHZ.jnptt.cn
http://bscq9aEj.jnptt.cn
http://rjP5n59k.jnptt.cn
http://TXMB0c8b.jnptt.cn
http://tddhDsJg.jnptt.cn
http://SZ1U7m5O.jnptt.cn
http://QARIZ09l.jnptt.cn
http://CYehFXWG.jnptt.cn
http://O3vFwzRc.jnptt.cn
http://dflarFz2.jnptt.cn
http://9vuvLP3M.jnptt.cn
http://oTwB4QzI.jnptt.cn
http://KYQiMycN.jnptt.cn
http://Z9gi7Dxs.jnptt.cn
http://cbp1yMZ0.jnptt.cn
http://Q1LPjAsG.jnptt.cn
http://bRMgTuuN.jnptt.cn
http://bmB7Grbb.jnptt.cn
http://KFDq7nvg.jnptt.cn
http://w0HeJbNt.jnptt.cn
http://7AOjOEyy.jnptt.cn
http://G7dsrOhs.jnptt.cn
http://U45TF2Er.jnptt.cn
http://mZphA4Dt.jnptt.cn
http://www.dtcms.com/a/386709.html

相关文章:

  • MyBatis XML操作
  • 3DGS压缩-Knowledge Distillation for 3DGS
  • 宇视设备视频平台EasyCVR视频设备轨迹回放平台监控摄像头故障根因剖析
  • Mysql 主从复制操作
  • 2.Boost工作原理分析
  • 专题一递归算法
  • 精准选中对象
  • 制作uniapp需要的storyboard全屏ios启动图
  • 嵌入式硬件工程师的每日提问(2)
  • 清华最新发布114页大型推理模型的强化学习综述
  • 软件质量保证(SQA)和测试的关系
  • 22.1 突破单卡显存极限!DeepSpeed ZeRO实战:用1块GPU训练百亿参数大模型
  • 框架-SpringCloud-1
  • Redis 与微服务架构结合:高并发场景下的架构艺术
  • g4f 0.6.2.9版本安装以及服务不太稳定的问题探究
  • I2C通信
  • 经典算法题之x 的平方根
  • 【精品资料鉴赏】RPA财务机器人应用(基于UiPath)教材配套课件
  • 融合A*与蚁群算法的室内送餐机器人多目标路径规划方法研究
  • RustDesk:免费开源的跨平台远程桌面控制软件
  • 超越NAT:如何构建高效、安全的内网穿透隧道
  • RabbitMQ理解
  • 【闪电科创】边缘计算深度学习辅导
  • Linux服务器中Mysql定时备份(清理)数据库
  • 物联网智能网关配置教程:实现注塑机数据经基恩士PLC上传至云平台
  • 搭建第一个Spring Boot项目
  • MyBatis 注解操作
  • InternVL3.5 开源:革新多模态架构,重塑感知与推理的边界​
  • 新手教程—LabelImg标注工具使用与YOLO格式转换及数据集划分教程
  • C++奇异递归模板模式(CRTP)