当前位置：首页 > news >正文

ubuntu 安装 vllm

news 2025/8/30 9:09:51

在 Ubuntu 系统上使用 uv 安装 vllm 可以分为几个步骤。uv 是一个极其快速的 Python 包安装器和解析器，由 Astral 公司（Ruff 的创建者）开发，非常适合用来安装像 vllm 这样依赖复杂的项目。

以下是详细步骤：

步骤 1：更新系统包索引（推荐）

首先，确保你的 Ubuntu 系统是最新的。

sudo apt update && sudo apt upgrade -y

步骤 2：安装 uv

你可以使用官方的安装脚本来安装 uv，这是最方便的方法。

curl -LsSf https://astral.sh/uv/install.sh | sh

安装完成后，按照提示将 uv 添加到你的 PATH 中。通常需要重新启动终端或执行以下命令：

source ~/.bashrc
# 或者如果你使用 zsh
source ~/.zshrc

验证 uv 是否安装成功：

uv --version

步骤 3：使用 uv 创建虚拟环境并安装 vllm

uv 的核心功能是管理环境和安装包。我们将使用它创建一个新的虚拟环境并在其中安装 vllm。

创建项目目录并进入（可选，但推荐）
这有助于保持环境隔离。
```
mkdir vllm-project && cd vllm-project
```
初始化虚拟环境并安装 vllm
使用 uv init 命令可以一步完成创建虚拟环境、生成 pyproject.toml 并安装包。
```
uv init . --python 3.11
uv add vllm
```
- uv init . 在当前目录初始化一个项目。
- --python 3.11 指定 Python 版本（vllm 强烈推荐使用 Python 3.9-3.11）。
- uv add vllm 将 vllm 包添加到依赖项并安装。

或者，使用更传统的流程：

# 1. 创建虚拟环境，命名为 .venv
uv venv .venv
# 2. 激活虚拟环境
source .venv/bin/activate
# 3. 使用 uv pip 安装 vllm (速度远超传统 pip)
uv pip install vllm

步骤 4：安装 vllm 的可选依赖（CUDA）

vllm 是一个 GPU 密集型库，需要 CUDA。uv 在安装 vllm 时会自动处理其 Python 依赖（如 torch），但系统级的 CUDA 驱动和工具包需要你自己安装。

检查 NVIDIA 驱动是否已安装：
```
nvidia-smi
```
如果这个命令输出了 GPU 信息，说明驱动已安装。如果没有，你需要先安装 NVIDIA 驱动。

安装 CUDA Toolkit（如果需要）：
vllm 通常与 CUDA 12.1 兼容性最好。推荐使用 apt 安装：

# 首先添加 NVIDIA 包仓库
distribution=$(. /etc/os-release;echo $ID$VERSION_ID | sed -e 's/\.//g')
wget https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt update# 安装 CUDA Toolkit 12.1
sudo apt install -y cuda-toolkit-12-1

安装完成后，可能需要设置环境变量（通常添加到 ~/.bashrc 中）：

echo 'export PATH=/usr/local/cuda-12.1/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

步骤 5：验证安装

创建一个简单的 Python 脚本或直接在激活的虚拟环境中启动 Python 解释器来测试 vllm 是否安装成功。

source .venv/bin/activate # 如果尚未激活
python -c "import vllm; print('vllm 安装成功！'); print(f'版本: {vllm.__version__}')"

如果一切顺利，你将看到成功的导入信息和版本号。

常见问题与解决 (Troubleshooting)

Could not find version that satisfies the requirement vllm:
- 确保你的网络连接正常，uv 可以访问 PyPI。
CUDA version is insufficient 或其他 CUDA 相关错误:
- 运行 nvidia-smi 和 nvcc --version 检查你的驱动和 CUDA 版本。确保你安装的是 CUDA 12.1 或更高版本。
- 有时 vllm 需要特定版本的 torch。可以尝试强制重新安装与 CUDA 匹配的 PyTorch：
```
uv pip install --force-reinstall torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
```
  然后再重新安装 vllm：uv pip install vllm。
性能问题或运行时错误:
- 确保你是在虚拟环境中操作，并且没有多个版本的 torch 冲突。
- 查阅 vllm 的官方文档：https://docs.vllm.ai