LORA参数微调

序

LORA中最重要的是缩放因子$\alpha$与秩$r$，它们共同决定LORA矩阵在推理中作用大小。其公式如下：
$$h=W_{0}x+\frac{\alpha }{r}BAx$$

关于这两个参数的关系，网上有很多不同的观点，有说他们应该是2倍关系，有人说要大很多，也有人说应该是其他的关系。这些都不重要的，可以做为参考，在实际中，最好您都试试，尽量多多的尝试吧。

原始博客

内容来自以下博客Finding the best LoRA parameters 作者基于自己的简易任务，做了一些实验并输出了实验内容。

结论

• LORA原论文推荐，保持默认$\alpha$不变，调节$r$和学习率即可。
• 固定$r$下，$\alpha$大值效果更好。
• 固定$r$下，$\alpha$与学习率作用类似。

详细

1. $\alpha$越大越好

在博客中，他们分别固定$r=128和r=2$下，分别尝试了$\alpha 值为0.5,2,8,32,128,256,512$，神奇的是无论$r$的大小，都表明$\alpha$越大收敛越快，最终效果也越好。实验结果如下：

2. 调节学习率与$\alpha$作用一样

设置了三组实验，结果表明，lr与$\alpha$具有类似作用或者等价，其结果如图所示：

3. rsLORA在困难任务上有用

rsLORA主要是改动了整个缩放因子，整个新公式如下。改动原因是原作文发现，训练LORA效果不稳定，原因是缩放因子过小，导致难以发挥出来其作用。$\frac{\alpha }{r}$比较激进，导致整体的缩放因子较小，所以难以发挥大秩r的作用。
$$h=W_{0}x+\frac{\alpha }{\sqrt{r}}BAx$$
在简单任务下，rslora效果一般，但是在复杂训练场景下，rslora效果比较好。