解读DeepSeek新模型DeepSeek*-V3.2-Exp

千呼万唤，DeepSeek选择在国庆节前放出了开源模型，瞄准大型语言模型（LLM）对突破更长上下文窗口。标准的Transformer架构，其自注意力机制的O(L²)计算和内存复杂度，使得上下文长度（L）每增加一倍，成本就变为原来的四倍。这让训练和部署真正意义上的超长上下文模型变得异常昂贵。虽然各种稀疏注意力（Sparse Attention）方案层出不穷，但它们往往面临着性能下降、硬件利用率低或实现复杂等问题。

DeepSeek-AI团队推出的DeepSeek-V3.2-Exp模型，通过引入一种新颖的、名为DeepSeek Sparse Attention (DSA) 的稀疏注意力机制，为解决这一核心矛盾提供了优雅且强大的解决方案。DSA通过一个**“闪电索引器（Lightning Indexer）”**，在保持与稠密注意力相当性能的同时，实现了训练和推理效率的巨大飞跃，尤其是在长上下文场景下。

本文尝试从其核心的DSA架构设计，到其精巧的两阶段训练范式，再到其与前代稠密模型的性能对比，全方位分析这个模型如何在长上下文效率上实现突破。

1. 引言：长上下文的枷锁

LLM处理长上下文的能力，是其能否成为真正强大AI助手的关键。然而，标准自注意力机制的平方复杂度，像一副沉重的“枷锁”，限制了上下文窗口的扩展。

• 计算成本: O(L²)
• 内存成本 (KV Cache): O(L)