VLLM专题（三十一）—架构概述

本文档提供了vLLM架构的概述。

1. 入口点

vLLM 提供了多个与系统交互的入口点。下图展示了它们之间的关系。

1.1 LLM 类

LLM 类提供了用于进行离线推理的主要 Python 接口，即在不使用单独的模型推理服务器的情况下与模型进行交互。

以下是 LLM 类的使用示例：

from vllm import LLM, SamplingParams

# Define a list of input prompts
prompts = [
    "Hello, my name is",</