DeepSeek有哪些创新点

DeepSeek有哪些创新点

模型架构创新

• 多头潜在注意力（Multi-Head Latent Attention, MLA）：传统Transformer的注意力机制在长上下文场景下内存占用大，DeepSeek-V3的MLA通过低秩联合压缩机制解决了这一问题。原理是将输入向量通过低秩矩阵投影到潜在空间，再通过逆变换恢复原始维度。这样在推理时仅需缓存压缩后的潜在向量，可使内存占用减少40%，长文本处理效率提升3倍。
• 无辅助损失负载均衡：在MoE架构中，为解决专家负载不均衡导致的计算资源浪费问题，DeepSeek-V3提出动态路由偏置调整策略。为每个专家分配动态偏置项(b_i)来调整路由权重，并根据专家负载情况自动调整(b_i)，负载过高则降低，反之提高。该方式无需辅助损失，避免了性能损失，能使专家利用率提升60%，训练稳定性显著增强。

训练优化创新

• 多Token预测（Multi-Token Prediction, MTP&