DeepSeek-V3模型底层架构的核心技术一（多Token预测（MTP）技术）

一、DeepSeek-V3的框架结构

        DeepSeek-V3的框架结构基于三大核心技术构建：多头潜在注意力（MLA）、DeepSeekMoE架构和多token预测（MTP）。这些创新使得模型在处理长序列、平衡计算负载以及生成连贯文本方面表现出色。

1. 基础架构

        DeepSeek-V3的基础架构仍然基于Transformer框架，但引入了MLA和DeepSeekMoE技术以实现高效推理和经济高效的训练。