广州建站业务公司建立网站需要多少钱

LoRA，DoRA，RSLoRA，LoRA+ 是什么

一、LoRA（Low-Rank Adaptation，低秩适应）

核心原理：冻结预训练模型参数，仅在每层插入两个低秩矩阵（A∈R^{r×d}, B∈R^{d×r}），通过分解权重增量ΔW=BA近似全秩更新，参数量仅为全量微调的0.01%-1%。
举例：在GPT-2（774M参数）的注意力层，原权重矩阵W_q∈R^{768×768}。LoRA设置秩r=8，仅训练A（768×8）和B（8×768），参数量从768²=589k→768×8×2=12k（压缩49倍）。训练时，实际计算为xW_q + xAB（即ΔW=AB），推理时合并AB为ΔW与原W_q相加，无额外计算开销。