LoRA低秩适配的原理

某日看到一个UP主是花子啊，讲LoRA和大模型，讲得真好，笔记一篇。如下图，左边可以解出X和Y，但右边解不开，是因为右边没有提供足够的信息。

右边：

• 第一个方程： 3x+4y=18
• 第二个方程： 6x+8y=36

        在线性代数中，两个方程（或向量）线性独立意味着其中一个不能表示为另一个的线性组合（即标量倍数）。这里，由于第二个方程完全由第一个方程导出，它们不是线性独立的，而是线性相关的。

左边的矩阵秩=2，而右边的矩阵秩=1

LoRA低秩适配，就是把一个很多秩的矩阵，变成一个较少秩的矩阵。LoRA需要把一个很多线性独立的大矩阵分解成几个小的矩阵，对小矩阵适配，就减少了工作量。