当前位置: 首页 > news >正文

极简 5 步:Ubuntu+RTX4090 源码编译 vLLM

极简 5 步:Ubuntu+RTX4090 源码编译 vLLM

    • 1. 系统依赖(一次性)
    • 2. 进入源码目录 & 激活环境
    • 3. 启用 ccache + 自动并行度
    • 4. 拉代码 + 编译(2 行搞定)
    • 5. 更新 flash-attn(与 vLLM 配套)
    • 6. 启动 4 卡 MiniCPM-V-4


1. 系统依赖(一次性)

sudo apt install -y build-essential git cmake ninja-build ccache

✅ 安装完成后,后续无需再动系统


2. 进入源码目录 & 激活环境

cd /root/myvllm/vllm_main
conda activate vllm_main

3. 启用 ccache + 自动并行度

export CC="ccache gcc"
export CXX="ccache g++"
export NVCC="ccache nvcc"
export CCACHE_NOHASHDIR=trueCORES=$(nproc)
MEM_GB=$(free -g | awk 'NR==2{print $7}')
MAX_JOBS=$(( MEM_GB / 2 ))
[[ $MAX_JOBS -eq 0 ]] && MAX_JOBS=1
[[ $MAX_JOBS -gt $CORES ]] && MAX_JOBS=$CORES
export MAX_JOBS
echo "本次编译 MAX_JOBS=$MAX_JOBS"

4. 拉代码 + 编译(2 行搞定)

git pull
pip install -r requirements/build.txt
pip install --no-build-isolation -e . -U
  • 首次 ≈ 5-10 min
  • 增量 ≈ 30 s

5. 更新 flash-attn(与 vLLM 配套)

pip install flash_attn==2.8.0.post2 -U

6. 启动 4 卡 MiniCPM-V-4

vllm serve /root/HuggingFaceCache/MiniCPM-V-4 \--tensor-parallel-size 4 \--gpu-memory-utilization 0.85 \--served-model-name gpt-4o \--trust-remote-code

完结!

http://www.dtcms.com/a/319514.html

相关文章:

  • JavaWeb03——基础标签及样式(表单)(黑马视频笔记)
  • 八、基于GD32 Embedded Builder开发GD32VW553(蓝牙广播)
  • 复杂光照场景漏检率↓76%!陌讯多模态融合算法在打电话识别的边缘部署优化
  • 使用Puppeteer轻松自动化浏览器操作
  • PYLON交叉编译:Ubuntu是x86,编译出arm64上运行的程序
  • 无人机航拍数据集|第8期 无人机海上目标检测YOLO数据集3641张yolov11/yolov8/yolov5可训练
  • 下载 | Windows Server 2016最新原版ISO映像!(集成7月更新、标准版、数据中心版、14393.8246)
  • 基于 C 语言的多态机制的驱动架构
  • 十八、k8s细粒度流量管理:服务网格
  • UiPath Studio介绍
  • CS231n2017 Assignment3 RNN、LSTM部分
  • 仁懋高压MOSFET在新能源汽车充电领域的应用
  • Java并发与数据库锁机制:悲观锁、乐观锁、隐式锁与显式锁
  • Java基础学习1(Java语言概述)
  • 音视频时间戳获取与同步原理详解
  • 如何为WordPress启用LiteSpeed缓存
  • --- Eureka 服务注册发现 ---
  • 安卓Handler和Looper的学习记录
  • 计算机视觉-OpenCV
  • GPT-5 将在周五凌晨1点正式发布,王炸模型将免费使用??
  • Android 之 Kotlin 扩展库KTX
  • 突破距离桎梏:5G 高清视频终端如何延伸无人机图传边界
  • RK3568项目(十三)--linux驱动开发之基础通讯接口(下)
  • 闪迪 SN8100 旗舰固态评测:读 14.9GB/s,写 14.0GB/s 的性能怪兽
  • 8.结构健康监测选自动化:实时数据 + 智能分析,远超人工
  • 深度学习中主要库的使用:(一)pandas,读取 excel 文件,支持主流的 .xlsx/.xls 格式
  • Flink-1.19.0-核心源码详解
  • 网站IP被劫持?三步自建防护盾
  • 【中微半导体】BAT32G139 逆变器,中微半导体pack包安装使用说明(参考例程获取DemoCode)
  • 51c大模型~合集165