降低显存，优化性能方案 MHA MQA GQA MLA MFA
多头注意力（MHA，Multi-Head Attention）到如今的多查询注意力（MQA，Multi-Query Attention）、分组查询注意力（GQA，Grouped-Query Attention），再到DeepSeek提出的创新性多头潜在注意力（MLA，Multi-Head Latent Attention）, 新型注意力机制架构——多矩阵分解注意力（MFA）及其变体 MFA-Key-Reuse，在大幅降低语言模型推理成本的同时，还实现了性能的显著提升
目录
多头注意力（MHA，Multi-Head Attention）
核心特点
工作原理
多查询注意力（MQA，Multi-Query Attention）
分组查询注意力（GQA，Grouped-Query Attention）
GQA的核心概念：
与MHA和MQA的对比：
应用场景：
实现细节：
总结：
多头潜在注意力（MLA，Multi-Head Latent Attention）
多矩阵分解注意力（MFA， Multi-matrix Factorization Attention）
多头注意力（MHA，Multi-Head Attention）
多头注意力（MHA，Multi-Head Attention）是Transformer模型中的核心机制，它在自然语言处理和其他序列处理任务中扮演着关键角色。MHA的设计初衷是为了能够同时从输入序列的不同表示子空间中捕获信息，从而增强模型的表达能力。以下是MHA的核心特点和工作原理：
核心特点
-
并行计算：MHA将输入序列通过不同的线性变换分成多个“头”（heads），每个头独立计算注意力权重，这允许模型并行关注不同特征。
-
多视角关注：每个头可以视为对输入的不同方面或“视角”的关注，从而使得模型能够综合考虑多种上下文信息。
-
线性变换：输入首先经过三个线性变换生成查询（Q）、键（K）和值（V）矩阵，这些矩阵随后用于注意力计算。
-
缩放点积注意力：计算注意力权重时，使用查询与键的缩放点积，然后通过softmax函数归一化，确保所有注意力权重之和为1。
工作原理
-
查询、键、值矩阵：对于每个输入序列的元素，通过不同的权重矩阵转换得到查询、键和值矩阵。
-
注意力计算：每个头计算查询矩阵与所有键矩阵的点积，然后除以键维度的平方根以缩放，避免数值问题，接着应用softmax函数得到注意力分布。
-
加权求和：利用注意力分布对相应的值矩阵进行加权求和，得到每个头的输出。
-
拼接与线性变换：将所有头的输出拼接起来，再通过一个线性层（通常是全连接层），最终得到注意力层的输出。
多查询注意力（MQA，Multi-Query Attention）
对于 MQA，研究人员发现它采用了一种更激进的参数共享策略。不同于 MHA 在头部之间保持独立的参数，MQA 让所有注意力头共享同一组键值参数。这种设计虽然将内存使用降到了极低的水平，但可能会影响模型的表达能力。研究团队指出，这种权衡实际上反映了一个更普遍的设计困境：如何在保持模型性能的同时减少资源消耗。
分组查询注意力（GQA，Grouped-Query Attention）
分组查询注意力（GQA，Grouped-Query Attention）是一种在Transformer模型中优化注意力机制的方法，旨在平衡计算效率和模型表达能力。GQA是对多头注意力（MHA）和多查询注意力（MQA）的进一步发展，特别是在处理大规模语言模型时显得尤为重要。以下是GQA的关键特点和其与MHA、MQA的对比：
GQA的核心概念：
-
查询分组：GQA将多头注意力中的查询头分成若干组，每组内的查询共享相同的键（Key）和值（Value）矩阵，这减少了模型的参数量和内存需求。
-
灵活性与平衡：通过调整组的数量（G），GQA可以在效率和模型性能之间找到一个平衡点。GQA-1接近MQA，而GQA-H接近MHA，GQA-G则是一个中间配置，提供更灵活的优化选项。
-
计算优化：通过减少独立的键值对，GQA降低了KV缓存的大小，从而在推理阶段加快速度，尤其是在处理长序列或大规模批次时。
与MHA和MQA的对比：
-
与MHA相比：MHA为每个头都分配独立的键和值矩阵，提供了丰富的信息视角，但计算和内存成本较高。GQA通过分组减少了这些开销，同时尝试保持相似的性能水平。
-
与MQA相比：MQA极端化地让所有头共享同一键值对，极大简化了计算，但可能牺牲模型的复杂信息处理能力。GQA通过在MQA的效率和MHA的多样性之间找到一个中间点，试图提供更好的平衡。
应用场景：
GQA特别适合于大型语言模型如LLaMA-2、ChatGLM2等，这些模型需要在保持高性能的同时，优化推理速度和内存使用。通过GQA，这些模型能够在不显著牺牲准确性的前提下，处理更长的上下文或在资源受限的环境中运行。
实现细节：
在实现上，GQA通常涉及对原始多头注意力结构的修改，通过平均或特定策略合并键值头，然后对查询头进行分组处理。例如，通过代码实现时，会调整键值矩阵的复用方式，确保每个组内的查询共享相同的K和V，同时保持足够的多样性以维持模型的表达力。
总结：
GQA是一种在现代大模型中广泛采用的注意力机制变体，它通过创新的组策略优化了资源利用，是模型效率和性能之间精妙平衡的体现。通过在不同应用场景中调整组的数量，GQA能够灵活适应不同的计算和性能要求，成为深度学习领域中处理大规模数据流的一个重要工具。
多头潜在注意力（MLA，Multi-Head Latent Attention）
DeepSeek-V3采用了Multi-head Latent Attention (多头潜在注意力)，MLA通过压缩键值矩阵来减少内存占用，更适合长序列处理和资源受限环境，而MHA在原始设计上可能在这些方面有所不足。
多头潜在注意力（MLA）不仅可以更准确地找到重要的信息，而且还知道这些信息之间的关系。就像你和朋友们一起读一本书，每个人负责不同的部分，最后汇总所有人的发现。这样既能更快地完成任务，又能更全面地理解内容。在语言模型中，MLA 帮助模型更好地理解文本，比传统的MHA方法更省计算资源。
MLA 引入了一个共享的潜在空间，通过在这个空间中进行参数压缩来节省内存。虽然这种设计看似提供了更大的灵活性（因为中间维度可以设置得更大），但研究团队的理论分析揭示了一个关键问题：模型的实际表达能力仍然受限于最小维度的约束，这意味着 MLA 的设计中增加中间维度并不能真正提升模型的性能上限。
多矩阵分解注意力（MFA， Multi-matrix Factorization Attention）
是指一种新型的注意力机制架构，旨在通过多矩阵分解技术来显著降低语言模型在推理过程中的显存消耗，同时保持甚至提升模型的性能。具体来说，MFA（多矩阵分解注意力）及其变体MFA-Key-Reuse通过利用低秩矩阵分解，对长序列用户行为或输入特征进行高效建模，从而在不牺牲信息完整性的情况下，大幅减少计算复杂度和显存占用。这种技术通过离线训练阶段的矩阵优化和在线推理阶段的预存储策略，实现了对长序列数据的有效压缩和加速计算。此外，MFA还通过复用关键信息，进一步优化了显存使用，使得在减少高达93.7%的KV Cache使用量的情况下，依然能保持与传统多头注意力机制（MHA）相当甚至更优的性能。
MFA 的设计体现了研究团队的三个关键创新：
- 首先，他们突破传统设计的局限，显著增加了注意力头的数量和维度，极大增加了注意力模块的模型容量。
- 其次，研究团队在矩阵分解方面实现了创新性突破，采用激进的低秩分解策略，成功地在扩展模型注意力头的数量和维度时保持了极高的参数效率。
- 最后，研究团队采用单键值头设计，这个设计确保了即使在增加模型复杂度的情况下，内存使用仍然保持在最低水平。