当前位置：首页 > news >正文

河南教育平台网站建设为中小型企业构建网站

news 2025/10/9 6:52:11

河南教育平台网站建设,为中小型企业构建网站,郑州网站建设乚汉狮网络,肇庆seo按天计费LoRA是大模型微调方法的一种，它的特点是只在模型的部分权重（如 QKV 矩阵） 上添加可训练参数通过低秩矩阵（AB） 来优化参数更新优点： 极大降低显存消耗（deepseek 7B 只需 10GB） 适…

LoRA是大模型微调方法的一种，它的特点是只在模型的部分权重（如 QKV 矩阵）上添加可训练参数
通过低秩矩阵（A×B）来优化参数更新
优点：
极大降低显存消耗（deepseek 7B 只需 10GB）
适用于多任务 LoRA 适配器切换
训练速度快

例如在 Transformer 里，自注意力（Self-Attention）计算：
Y=XW，
其中 X 是input, W是原始模型的权重矩阵（全连接层）.
传统的Fine-tuning就是直接对 W 进行梯度更新，导致需要存储整个 W 的更新版本，显存占用极大。

LoRA 关键思想：
不直接更新 W，而是用两个小矩阵 $A$ 和 $B$ 近似建模 W 的变化：
$\Delta W$
$\Delta W = AB$

其中：
$\in \mathbb{R}^{d \times r}$
$\in \mathbb{R}^{r \times d}$
$\ll d$ （低秩），一般 r=4, 8, 16，远小于 d。

所以只需要训练A 和 B，大幅减少训练参数量，用 $A B$ 近似 $\Delta W$ , 使得最终 $W^{'}$ 仍然能适应新任务。
训练时，只更新A和B， W保持冻结。
推理时，计算 $W + A B$ 得到微调后的完整模型, 但A，B远小于W，开销极小。

代码简单演示一下如何在transformer的q_proj里加入LoRA
在 Transformer 里，q_proj 是 nn.Linear 层

import torch
import torch.nn as nn
import mathclass LoRAQProj(nn.Module):def __init__(self, hidden_size, r=16, lora_alpha=16):super().__init__()self.hidden_size = hidden_sizeself.r = rself.lora_alpha = lora_alphaself.scaling = lora_alpha / r  # LoRA 影响力# 原始 Q 投影层（冻结）self.q_proj = nn.Linear(hidden_size, hidden_size, bias=False)# LoRA 适配器：A 和 Bself.lora_A = nn.Linear(hidden_size, r, bias=False)  # 低秩 Aself.lora_B = nn.Linear(r, hidden_size, bias=False)  # 低秩 B# 初始化 LoRA 参数nn.init.kaiming_uniform_(self.lora_A.weight, a=math.sqrt(5))nn.init.zeros_(self.lora_B.weight)  # B 矩阵初始化为 0def forward(self, x):"""计算 Self-Attention 里的 Query 矩阵：Q = X * (W_q + AB)"""base_output = self.q_proj(x)  # 原始投影lora_output = self.lora_B(self.lora_A(x)) * self.scaling  # LoRA 适配器return base_output + lora_output  # 总输出# 测试模型
hidden_size = 512
batch_size = 4
seq_len = 10x = torch.randn(batch_size, seq_len, hidden_size)  # 输入数据
model = LoRAQProj(hidden_size)
output = model(x)print("LoRA Q-Projection Output Shape:", output.shape)  # (4, 10, 512)

训练LoRA适配器

训练时，冻结self.q_proj, 只训练lora_A 和 lora_B

# 训练 LoRA
optimizer = torch.optim.AdamW([p for n, p in model.named_parameters() if "lora" in n], lr=1e-4
)for epoch in range(10):for batch in dataloader:  # 假设 dataloader 提供训练数据optimizer.zero_grad()output = model(batch["input_ids"])loss = loss_function(output, batch["labels"])  # 计算损失loss.backward()optimizer.step()

推理时合并LoRA

LoRA 训练完成后，我们需要合并 A, B 到 q_proj
计算 $W_{q}' = W_{q} + AB$ ,
这样，可以移除A，B，只保留 $W_{q}'$ , 加速推理

def merge_lora(model):"""合并 LoRA 适配器到原始权重：W_q' = W_q + AB"""with torch.no_grad():model.q_proj.weight += (model.lora_B.weight @ model.lora_A.weight) * model.scaling# 移除 LoRA 适配器del model.lora_Adel model.lora_Breturn model# 进行推理时合并 LoRA
merged_model = merge_lora(model)