DeepSeek 即将联合 vLLM 开源推理引擎

DeepSeek 在其 GitHub 仓库发布预告称，即将开源推理引擎 DeepSeek Inference Engine。考虑到代码分支和维护资源等问题，他们选择了直接和 vLLM 等现有开源项目合作的方式进行开源。

合作原因

• 代码差异大：DeepSeek 内部推理引擎源自一年多前的 vLLM 早期分支，经过长期针对 DeepSeek 模型的深度定制优化，已与 vLLM 主线或其他通用推理框架产生巨大差异，难以扩展到更广泛的应用场景。
• 基础设施依赖强：该引擎与 DeepSeek 内部的集群管理系统、特定的硬件配置和运维流程紧密耦合，外部用户几乎无法在标准环境下直接部署，需要进行大规模重构才能剥离这些依赖，违背了开源项目通常追求的易用性原则。
• 维护资源有限：作为一家以模型研发为核心的团队，DeepSeek 缺乏足够的资源来长期维护一个需要持续投入、支持广泛用例的大型开源项目。

合作策略

• 提取独立功能：模块化并贡献可复用的组件作为独立库，方便其他开发者在不同场景下使用。
• 分享优化细节：向 vLLM 等项目贡献设计思想、实现方法甚至具体的代码补丁，帮助 vLLM 更好地支持 DeepSeek 模型，同时也促进整个开源社区的技术进步。

社区反响

这一合作策略获得了社区的普遍理解和积极响应。vLLM 项目官方账号在社交平台 X 上明确表示支持，认为 DeepSeek “以正确的方式开源引擎”，即将改进带回社区使人人受益，而非创建一个独立的仓库。

此前，vLLM 在吸收 DeepSeek 2 月 “开源周” 所公布论文中的部分优化后，处理 DeepSeek 模型的性能已有显著提升（约 3 倍）5。根据 DeepSeek 公布的推理系统内部测试结果，每个 H800 节点在预填充期间平均吞吐量达到 73.7k tokens/s 输入（包括缓存命中），或在解码期间达到 14.8k tokens/s 输出，表明推理性能优化领域仍有巨大提升空间