LORA的AB矩阵是针对Transformer的多头还是MLP

LORA的AB矩阵是针对Transformer的多头还是MLP

Transformer中的矩阵是一个整体还是分开的每个小矩阵

在LORA（Low-Rank Adaptation）中，AB矩阵的应用位置和Transformer中的矩阵拆分方式如下：

1. LORA的AB矩阵作用对象

LORA的AB矩阵主要作用于Transformer的多头注意力模块和MLP模块的线性层。具体来说：

• 多头注意力部分：AB矩阵通常注入到查询（Q）、键（K）、值（V）的线性变换层中，以低秩分解的形式近似原始权重矩阵。
• MLP部分：AB矩阵也可注入到MLP的**输入层（将隐层维度映射到中间维度）和输出层（映射回隐层维度）**中。