wordpress网站主题康定网站建设工作室

vLLM v1整体流程梳理：offline inference

在阅读了知乎猛猿小姐姐的图解Vllm V1系列1后，为了更好的和实际代码结合，因此debug了vLLM的0.8.4版本的源码，从源码上结合来学习v1的设计会更加深入和具体。
前言：强烈建议先看一下知乎猛猿小姐姐的图解Vllm V1系列1解读，先知道原理再看代码比较好理解！

介绍

这篇blog主要针对vLLM v1的离线推理的模块设计进行源码级别的讲解，我们会从一个入口开始debug，从用户的prompt输入开始，一直到返回模型输出结束。这里会包含大量的源码截图，出于篇幅考虑，本篇blog不会详细介绍每一行代码，只会对模块进行大致的介绍，读者可以根据截图自己对源码进行详细调试。

overview

下图摘自猛猿小姐姐的图解Vllm V1系列1，本篇blog用这张图作为overview，会对vLLM源码debug图中讲解的所有模块，因此读者可以结合猛猿小姐姐的图解Vllm V1系列1一起学习。

debug入口：vllm/examples/offline_inference/basic/basic.py

• step in并跳过装饰器后进入了LLM类的__init__函数中：

• 打断点跳转到LLMEngine的创建入口:

• 进入这个from_engine_args函数后，可以看到：

• vLLM默认是启用VLLM_USE_V1环境变量的，因此默认会使用v1的LLMEngine实现
• 我们接着step in（from_vllm_config函数）：

• 按照上图继续step in，就进入了v1 LLMEngine的构造函数中：

• 接着往下看，会看到：

• 继续往下看：

• 看图：

• make_client函数根据是否启用多进程和 asyncio，创建适合的 EngineCoreClient 子类实例：

• 离线推理是同步+多进程，我们从这里继续step in：

• 这里就到了overview中的SyncMPClient模块中，这里调用super().init(), 我们step in进去：

• 继续debug

• 进入到CoreEngine类中：

• 这里就要创建进程了，target_fn=EngineCoreProc.run_engine_core，因此现在这个函数里面打个断点，防止追不到：

• 我们在BackgroundProcHandle跳过之后可以观察到调用堆栈中创建了一个新的进程：

• 点击之后就会停在刚刚我们打的断点处：

• 往下看，接着打断点：

• 进入这个EngineCoreProc的实例化方法后：

• 我们接着debug进入上图中的super().init()中：

• 看过vLLM v0代码的读者，看到这个EngineCore构造函数中的内容应该会觉得很熟悉（至少我觉得）

• 我们再进入调度器实现看看：

• 下图就是调度器模块了，v1中调度器是prefill和decode混合的，而且没有cpu offload了，这要和v0调度器区分一下：

• debug到这里，其实overview中所有的模块都包含了，具体细节读者可以边debug，边print。
• 我们直接step out到最初始的离线推理入口函数中：

• 进入到LLM的generate()函数中：

• 进入run_engine():

• 进入step之后，可以看到：

• 可以看到：

• 这个get_output是直接使用了SyncMPClient中的outputs_queue获取了，因为我们前面以前添加了request（可以自行debug），进程已经运行了推理。
• 然后进程process 0 会反复进行setp的操作，直到全部请求都推理完成：

• 推理结束：

笔者已经尽量详细，但还是觉得写的不太好，多多包涵！