Bi-LoRA的数学推导

Bi-LoRA的数学推导

1. 模型结构定义

设预训练模型的某层权重为${\mathbf{W}}_0\in {\mathbb{R}}^{d\times k}$（$d$为输出维度，$k$为输入维度）。Bi-LoRA引入两个低秩模块对${\mathbf{W}}_0$进行扰动：

• 主模块：$\Delta {\mathbf{W}}_1={\mathbf{B}}_1{\mathbf{A}}_1$，其中${\mathbf{A}}_1\in {\mathbb{R}}^{r\times k}$，${\mathbf{B}}_1\in {\mathbb{R}}^{d\times r}$（$r\ll \min (d,k)$为秩），用于任务适配。
• 辅助模块：$\Delta {\mathbf{W}}_2={\mathbf{B}}_2{\mathbf{A}}_2$，其中${\mathbf{A}}_2\in {\mathbb{R}}^{r\times k}$，${\mathbf{B}}_2\in {\mathbb{R}}^{d\times r}$，用于模拟对抗性扰动。

模型最终输出为：
$$\mathbf{y}=({\mathbf{W}}_0+\Delta {\mathbf{W}}_1)\mathbf{x}$$
（推理时移除辅助模块，仅保留主模块与预训练权重）

2. 损失函数构造

Bi-LoRA的核心是通过辅助模块模拟SAM的“对抗性扰动”，同时优化主模块的任务适配性。定义损失函数为：
$${\mathcal{L}}_{\text{Bi-LoRA}}=\mathcal{L}({\mathbf{y}}^{\ast },{\mathbf{y}}_1)+\lambda \cdot \mathcal{L}({\mathbf{y}}^{\ast },{\mathbf{y}}_1+\Delta {\mathbf{y}}_2)$$
其中：

• ${\mathbf{y}}^{\ast }$为真实标签，$\mathcal{L}$为任务损失（如交叉熵）。
• ${\mathbf{y}}_1=({\mathbf{W}}_0+\Delta {\mathbf{W}}_1)\mathbf{x}$为主模块输出。
• $\Delta {\mathbf{y}}_2=\Delta {\mathbf{W}}_2\mathbf{x}={\mathbf{B}}_2{\mathbf{A}}_2\mathbf{x}$为辅助模块引入的扰动输出。
• $\lambda >0$为平衡系数，控制扰动影响权重。

3. 参数更新规则

参数更新分主模块（${\mathbf{A}}_1,{\mathbf{B}}_1$）和辅助模块（${\mathbf{A}}_2,{\mathbf{B}}_2$）两部分，均基于梯度下降/上升：

3.1 主模块更新（梯度下降，最小化损失）

主模块参数通过${\mathcal{L}}_{\text{Bi-LoRA}}$对${\mathbf{A}}_1,{\mathbf{B}}_1$的梯度更新：
$${\mathbf{A}}_1\leftarrow {\mathbf{A}}_1-\eta \cdot {\nabla }_{{\mathbf{A}}_1}{\mathcal{L}}_{\text{Bi-LoRA}}$$
$${\mathbf{B}}_1\leftarrow {\mathbf{B}}_1-\eta \cdot {\nabla }_{{\mathbf{B}}_1}{\mathcal{L}}_{\text{Bi-LoRA}}$$
其中$\eta$为学习率，梯度计算为：
$${\nabla }_{{\mathbf{A}}_1}{\mathcal{L}}_{\text{Bi-LoRA}}={\nabla }_{{\mathbf{A}}_1}\mathcal{L}({\mathbf{y}}^{\ast },{\mathbf{y}}_1)+\lambda \cdot {\nabla }_{{\mathbf{A}}_1}\mathcal{L}({\mathbf{y}}^{\ast },{\mathbf{y}}_1+\Delta {\mathbf{y}}_2)$$
$${\nabla }_{{\mathbf{B}}_1}{\mathcal{L}}_{\text{Bi-LoRA}}={\nabla }_{{\mathbf{B}}_1}\mathcal{L}({\mathbf{y}}^{\ast },{\mathbf{y}}_1)+\lambda \cdot {\nabla }_{{\mathbf{B}}_1}\mathcal{L}({\mathbf{y}}^{\ast },{\mathbf{y}}_1+\Delta {\mathbf{y}}_2)$$

3.2 辅助模块更新（梯度上升，最大化扰动损失）

辅助模块需模拟“使损失增大的扰动”，故通过负梯度更新（等价于梯度上升）：
$${\mathbf{A}}_2\leftarrow {\mathbf{A}}_2+\eta \cdot {\nabla }_{{\mathbf{A}}_2}\mathcal{L}({\mathbf{y}}^{\ast },{\mathbf{y}}_1+\Delta {\mathbf{y}}_2)$$
$${\mathbf{B}}_2\leftarrow {\mathbf{B}}_2+\eta \cdot {\nabla }_{{\mathbf{B}}_2}\mathcal{L}({\mathbf{y}}^{\ast },{\mathbf{y}}_1+\Delta {\mathbf{y}}_2)$$
（仅依赖扰动损失项，目标是增强对不稳定参数区域的探测）

4. 辅助模块的范数约束（扰动控制）

为限制辅助模块的扰动幅度，每次更新后需对其进行归一化。设模型有$N$个LoRA层，定义第$j$层辅助模块的弗罗贝尼乌斯范数为$\Vert \Delta {\mathbf{W}}_2^{(j)}{\Vert }_F=\Vert {\mathbf{B}}_2^{(j)}{\mathbf{A}}_2^{(j)}{\Vert }_F$，总范数为：
$$c_{\text{norm}}=\sqrt{\sum _{j=1}^N\Vert \Delta {\mathbf{W}}_2^{(j)}{\Vert }_F^2}$$

若$c_{\text{norm}}>\rho$（$\rho$为预设邻域半径），则对所有层的${\mathbf{A}}_2^{(j)},{\mathbf{B}}_2^{(j)}$进行缩放：
$${\mathbf{B}}_2^{(j)}\leftarrow \sqrt{\rho /c_{\text{norm}}}\cdot {\mathbf{B}}_2^{(j)}$$
$${\mathbf{A}}_2^{(j)}\leftarrow \sqrt{\rho /c_{\text{norm}}}\cdot {\mathbf{A}}_2^{(j)}$$

缩放后满足${\sum }_{j=1}^N\Vert \Delta {\mathbf{W}}_2^{(j)}{\Vert }_F^2=\rho$，确保扰动被约束在$\rho$-范数球内。

5. 收敛性保证

通过主模块与辅助模块的协同优化，Bi-LoRA的损失函数满足：
$${\mathcal{L}}_{\text{Bi-LoRA}}\ge \mathcal{L}({\mathbf{y}}^{\ast },{\mathbf{y}}_1)-\lambda \cdot \rho \cdot \Vert {\nabla }_{\mathbf{W}}\mathcal{L}{\Vert }_{\text{max}}$$
其中$\Vert {\nabla }_{\mathbf{W}}\mathcal{L}{\Vert }_{\text{max}}$为权重梯度的最大模。该式表明，辅助模块的扰动被严格控制，主模块能在“平坦区域”收敛，最终提升模型泛化性。