DeepSeek 开源了 DeepEP

DeepSeek又开源了一个超强技术：DeepEP通信库。实现了MOE之间的通信，性能更强了！

DeepEP作为全球首个专为MoE（专家混合）模型训练和推理量身定制的EP（专家并行）通信库，其诞生标志着通信技术在AI领域的又一次重大突破。

DeepEP以其卓越的性能和多样化的功能吸引了业界的广泛关注。它实现了高效的全对全（all-to-all）通信机制，不仅支持节点内部（intranode）的数据交换，还跨越节点（internode）进行通信，完美兼容NVLink和RDMA技术。这一特性确保了数据在复杂网络环境下的流畅传输。

 

在训练和推理过程中，DeepEP展现了其强大的计算能力。预填充（prefilling）阶段采用高吞吐率计算核，显著提升了数据处理速度；而在推理解码（decoding）阶段，则采用低延迟计算核，确保了实时响应的高效性。DeepEP原生支持FP8数据调度，这一低精度计算操作进一步降低了资源消耗，提升了整体性能。

快来加入交流社区