丽水市莲都区建设分局网站做网站开发app

本指南将帮助您快速开始使用 vLLM 执行：

• 离线批量推理
• 使用 OpenAI 兼容服务器进行在线服务

先决条件

操作系统：Linux

Python：3.9 – 3.12

安装

如果您使用的是 NVIDIA GPU，您可以直接使用 pip 安装 vLLM。

建议使用 uv，一个非常快速的 Python 环境管理器，来创建和管理 Python 环境。请按照文档安装 uv。安装 uv 后，您可以创建一个新的 Python 环境，并使用以下命令安装 vLLM：

uv venv myenv --python 3.12 --seed
source myenv/bin/activate
uv pip install vllm

您也可以使用 conda 来创建和管理 Python 环境。