EP 架构：未来主流方向还是特定场景最优解？

DeepSeek MoE架构采用跨节点专家并行（EP）架构，在提升推理系统性能方面展现出巨大潜力。这一架构在发展进程中也面临诸多挑战，其未来究竟是会成为行业的主流方向，还是仅适用于特定场景，成为特定领域的最优解，引发了广泛的讨论。

PPIO派欧云作为专注于分布式推理的AI infra公司，致力于探索前沿推理加速技术。PD分离（prefill-decode分离）作为一种新兴的推理范式，是我们近期重要的研究方向之一，其对EP架构的发展产生了深远影响。

一、EP 架构的技术优势与潜力

（一）提升系统吞吐能力

EP 架构通过增大 batch size，充分挖掘 GPU 矩阵乘法的并行计算潜力，显著提升系统的吞吐能力。在深度学习模型的推理阶段，较大的 batch size 能够让 GPU 在单位时间内处理更多数据。

以图像识别模型为例，当 batch size 增大时，GPU 可以同时对更多张图片进行特征提取与分类运算，大大加快了推理速度。这种机制充分利用了 GPU 的并行计算资源，使模型在数据处理效率上得到质的提升，为大规模数据的快速处理提供了有力支持。在大规模数据处理中，采用 EP 架构增大 batch size 后，处理速度较传统架构提升了数倍，有效缩短了任务执行时间。

（二）降低推理延迟

将专家分散到不同 GPU 上的策略，有效减轻了单个 GPU 的访存压力，大幅降低了推理延迟。在处理大规模语言模型推理时，模型参数规模庞大，访存操作往往成为制约性能的关键因素。EP 架构通过将专家分散开来，每个 GPU 只需处理少量专家的参数，极大减少了访存需求，让 GPU 能够更专注于计算任务。这使得系统在处理实时性要求较高的任务时，能够快速响应，满足如智能客服实时问答、在线翻译等场景对低延迟的严苛要求。

从技术发展趋势来看，随着数据量呈爆发式增长以及模型参数规模持续扩张，对推理系统的吞吐和延迟性能要求将越来越高。EP 架构这种能够充分利用大规模计算资源、提升计算效率的设计理念，与未来技术发展需求高度契合。随着硬件技术的不断进步，如 GPU 性能的进一步提升、网络带宽和传输效率的持续拓展，EP 架构有望在更广泛的场景中发挥其优势，具备成为主流方向的技术潜力。

为什么EP能提升推理性能？

如下图所示，我们以DeepSeek V3模型为例说明优化原理，在LLM的推理当中，往往存在算力、访存、存储等瓶颈，我们从瓶颈的角度进行分析：

假设我们在8张H100的机器上运行DeepSeek V3模型，输入的prompt长度是1k，则推理阶段激活的9个专家参数大小约为22G，KV Cache则只有30M左右，实际推理中，专家参数与KV Cache都需要加载到显卡当中。与之相比，MoE在decode阶段的算力诉求远小于1TFLOPS，而H系列的显卡有上千TFLOPS，远远达不到算力瓶颈。

从上面的分析中得知MoE不是一个算力瓶颈问题，可以根据显卡性能和业务指标对瓶颈进行更进一步的分析，例如，TPOT指标一般要求50m，这就意味着只有50ms全部用于将数据从显存搬运到SM，同时因为碎片等原因而导致真正带宽利用率只有50%。按照以上假设，在50ms的范围内，带宽为3350G/S的H800显卡仅能够搬运85G的数据。

如果我们不做任何EP技术，按照显卡85G的数据搬运能力，意味着每张卡的最大batchsize只能有4（batchsize=85G/22G），与之相反，我们简单的将EP设置为8，则batchsize能达到32（batchsize=85G/(22G/8)）。从这里就能看出，EP越大，每个显卡需要加载的专家参数量就越小，从而导致batchsize越大，同时意味着更大的推理吞吐，这便是EP提升推理性能的原理。

值得一提的是，DeepSeek在decode阶段采用的EP320，进一步将batchsize做的更大，从而将显卡性能压榨到极致。

二、特定场景下的卓越表现

在一些特定场景中，EP 架构已展现出无可比拟的优势，成为最优解决方案。

🌍科学计算领域

在气象模拟、分子动力学模拟等场景中，需要处理海量数据和复杂计算任务。这些任务通常具有大规模并行计算的特点，EP 架构能够很好地适应这种需求，通过将不同的计算任务分配到多个节点的 GPU 上并行处理，大幅缩短计算时间，提高模拟的精度和效率。在气象模拟中，利用 EP 架构可以快速模拟全球气象变化，为气象预测提供更准确的数据支持。

🔍互联网搜索和推荐系统

在互联网搜推系统中，实时性要求极高，需要在极短时间内对用户的查询或行为做出响应。EP 架构凭借其低延迟特性，能够快速处理用户请求，为用户提供即时的搜索结果或个性化推荐，极大提升用户体验，在这类场景中具有独特的应用价值。

💹金融行业

在金融行业的高频交易场景中，每一秒的延迟都可能导致巨大的经济损失。EP 架构的低延迟特性能够满足高频交易对实时性的严格要求，帮助金融机构快速做出交易决策，抢占市场先机。

🏥医疗影像诊断领域

在医疗影像诊断领域，对于大量医学影像数据的快速分析和诊断至关重要。EP 架构的高吞吐能力可以加速影像数据的处理，让医生能够更快地获取诊断结果，为患者的治疗争取宝贵时间。在医疗影像分析中，基于 EP 架构的系统能够快速处理大量的 X 光、CT 等影像数据，辅助医生更高效地进行疾病诊断。

三、面临的挑战限制其普适性

尽管 EP 架构优势众多，但在实际应用中也面临一系列严峻挑战，限制了其短期内成为主流方向的可能性。

跨节点通信开销是 EP 架构面临的主要问题之一。由于不同节点之间需要频繁交换数据，网络带宽和延迟成为制约系统性能的瓶颈。在复杂多变的网络环境下，网络拥塞、节点故障等问题时有发生，这可能导致通信延迟大幅增加，甚至数据传输错误，严重影响系统的稳定性和性能。

不同节点的硬件性能差异也给 EP 架构带来难题。即使在同一数据中心内，不同节点的 GPU 型号、内存大小、CPU 性能等也可能存在差异，这使得任务分配和负载均衡变得更加复杂。如果不能有效解决这些问题，部分节点可能成为系统的 “堵点”，降低整体性能。

构建和维护基于 EP 架构的推理系统需要较高的技术门槛和成本投入。这不仅需要专业的技术团队来进行系统的设计、部署和优化，还需要大量的硬件资源和网络基础设施支持。对于许多中小企业来说，这种高昂的成本可能难以承受，限制了 EP 架构的广泛应用。

四、PD 分离推理范式带来的新变量

（一）PD 分离的原理与优势

现有部署方式是prefill+decode共同部署在同一张GPU卡上。Prefill阶段主要是算力瓶颈，decode阶段主要是访存瓶颈，这两种不同的任务在同一张卡会造成资源浪费，硬件计算效率低。PD 分离，即 prefill-decode 分离，将推理过程中的预填充（prefill）阶段和解码（decode）阶段分离处理，分别在不同的GPU卡上处理。在预填充阶段，系统快速生成初始的中间结果（KV），这些结果通常具有一定的规律性和可并行性。EP 架构可以充分利用其大规模并行计算能力，在多个节点上同时进行预填充计算，大大提高预填充的速度。而在解码阶段，由于其对实时性要求较高，PD 分离允许硬件更专注地处理解码任务，优化解码算法和资源分配。通过这种任务分离，系统能够更好地平衡不同阶段的计算资源需求，提升整体推理效率。

（二）与 EP 架构结合的挑战

PD 分离推理范式在与 EP 架构结合的实际应用中也面临诸多挑战。预填充和解码阶段的硬件资源划分需要精确的算法支持，否则可能导致资源分配不合理。如果预填充阶段分配过多资源，会造成解码阶段资源紧张，影响实时性；反之，预填充阶段资源不足，则会拖慢整个推理速度。预填充和解码阶段之间的数据交互也带来了额外的通信开销。由于两个阶段可能在不同节点或不同计算资源上进行，如何高效地传输中间结果，确保数据的一致性和完整性，是需要解决的难题。在网络环境不稳定或带宽有限时，这种通信开销可能严重影响推理性能。

五、Dense LLM 模型会消失吗？

若 EP 架构成为未来主流方向，大模型参数持续增大，dense 模型并不会彻底消失，而是会在不同场景下与 EP 架构主导的模型形成互补关系。

1. EP 架构优势适配大参数模型：随着大模型参数规模不断膨胀，EP 架构凭借独特优势更契合发展需求。在自然语言处理的超大规模语言模型推理中，EP 架构可确保模型快速响应。

2. dense 模型的独特价值：dense 模型虽面临参数增长带来的挑战，但仍有不可替代的价值。在一些对模型精度和连续性要求极高的场景，如高精度科学计算模拟、部分医学图像分析任务中，dense 模型能凭借其参数紧密连接的特性，提供更精准、连续的结果。dense 模型结构相对简单，在一些资源受限、对模型复杂度要求不高的边缘设备场景下，更易于部署和运行，能够高效利用有限资源完成特定任务。

3. 二者的共存与互补：未来大模型发展中，EP 架构和 dense 模型并非相互替代。在数据中心等拥有强大计算资源的场景，EP 架构主导的模型可处理大规模、复杂的任务，发挥其并行计算和资源优化优势。而在对精度、资源利用有特定要求的边缘计算场景，dense 模型能继续发挥作用。

六、未来发展走向

综合来看，未来在大尺寸LLM推理/训练领域，EP架构可能成为最优解。随着网络互联技术进步和更智能的分布式计算框架的出现，EP 架构面临的通信和负载均衡等问题有望得到有效解决。另外，PD 分离推理范式也为 EP 架构的发展带来了新的可能性。如果二者能够成功融合并克服现存问题，EP 架构的应用范围或许会得到进一步拓展。

DeepSeek MoE架构采用跨节点专家并行（EP）架构，在提升推理系统性能方面展现出巨大潜力。这一架构在发展进程中也面临诸多挑战，其未来究竟是会成为行业的主流方向，还是仅适用于特定场景，成为特定领域的最优解，引发了广泛的讨论。

PPIO派欧云作为专注于分布式推理的AI infra公司，致力于探索前沿推理加速技术。PD分离（prefill-decode分离）作为一种新兴的推理范式，是我们近期重要的研究方向之一，其对EP架构的发展产生了深远影响。