深圳微网站开发网站ns记录

一、LORA篇

1、介绍一下Lora的原理

LoRA 是一种参数高效微调方法，其核心思想是将原始权重矩阵的更新限制在一个低秩空间内，从而显著减少训练参数量。
不同于传统微调，LoRA 将权重的更新项 $\Delta W$ 表示为两个低秩矩阵 $A\in {\mathbb{R}}^{r\times d}$ 和 $B\in {\mathbb{R}}^{d\times r}$ 的乘积：
$$W^{\prime }=W+\Delta W=W+BA$$
训练阶段只更新两个低秩矩阵 $A$ 和 $B$ ，原始模型权重 $W$ 保持不变；

2、LoRA 是为了解决什么问题提出的？哪些模型适合用 LoRA 微调？什么是低秩分解？

• LoRA 的核心目标：降低大模型微调成本 参数量从 $O(d^2)$ → $O(rd)$
• 适合含大量线性层的 Transformer 架构模型 比如注意力模块的 Q/K/V 投影矩阵、FFN前馈神经网络等

低秩分解：用小矩阵逼近大矩阵

定义：低秩分解是将高维矩阵近似为两个低维矩阵的乘积，以降低表示复杂度。
数学形式：对于 $d\times d$ 的高维矩阵 $W$，找到两个低维矩阵 $A\in {\mathbb{R}}^{r\times d}$ 和 $B\in {\mathbb{R}}^{d\times r}$ 的乘积，使得：

$$W\approx BA$$

• (A) 是 降维矩阵：将原始 $d$ 维空间映射到 $r$ 维子空间（提取关键特征）。
• (B) 是 升维矩阵：将 $r$ 维特征恢复到 $d$ 维空间（重构原始空间的更新）。
• 优势：通过仅优化 (A) 和 (B) 的$2rd$ 个参数（远小于 $d^2$），即可近似表达 (W) 的主要变化，大幅减少计算量。

3、LoRA初始化

LoRA 的初始化通常遵循以下原则：

• 原始模型权重 W 不变

• LoRA 的矩阵：

  • $A$ 通常使用正态分布初始化：nn.Linear(..., bias=False) 默认初始化
  • $B$ 通常初始化为 全零矩阵，这样一开始 $\Delta W=BA=0$，模型输出不会被扰动，保证收敛稳定性