温江建设局备案网站公司开发设计推荐

vLLM 是一个 Python 库，支持以下 GPU 变体。选择您的 GPU 类型以查看供应商特定的说明：
1. NVIDIA CUDA
vLLM 包含预编译的 C++ 和 CUDA（12.1）二进制文件。
2. AMD ROCm
vLLM 支持配备 ROCm 6.3 的 AMD GPU。
注意
此设备没有预构建的 wheel 包，因此您必须使用预构建的 Docker 镜像或从源代码构建 vLLM。
3. Intel XPU
vLLM 初步支持在 Intel GPU 平台上进行基本模型推理和服务。
注意
此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 vLLM。

一、要求

• 操作系统：Linux
• Python：3.9 – 3.12
  1. NVIDIA CUDA
• GPU：计算能力 7.0 或更高（例如 V100、T4、RTX20xx、A100、L4、H100 等）
  2. AMD ROCm
• GPU：MI200s (gfx90a)、MI300 (gfx942)、Radeon RX