什么是 LoRA 学习笔记
什么是 LoRA?
LoRA 的全称是 Low-Rank Adaptation(低秩适配),它是一种高效的模型微调方法。
✅ 它的核心思想是:不修改原始大模型的参数,而是插入少量新参数(adapter 层)来进行训练,从而达到定制化微调的目的。
🧠 什么是 LoRA 检查点路径?
“LoRA 检查点路径”指的是 保存了 LoRA 微调结果的文件或文件夹路径。
这个路径中包含了训练后生成的 LoRA adapter 权重文件,它通常:
体积小(几十 MB 到几百 MB)
不包含完整模型权重
需要与原始大模型一起加载使用
📁 常见的文件结构
举例:
lora_checkpoint/
├── adapter_config.json # LoRA 配置文件
├── adapter_model.bin # 微调后的权重文件
在代码中加载的方式通常是这样的(以 Transformers 库为例):
from peft import PeftModel from transformers import AutoModelForCausalLM
# 加载原始大模型
base_model = AutoModelForCausalLM.from_pretrained("模型名称或路径") # 加载 LoRA 检查点(即 LoRA 检查点路径)
lora_model = PeftModel.from_pretrained(base_model, "lora_checkpoint/")
✅ 总结翻译:
英文术语 | 中文翻译 |
---|---|
LoRA | 低秩适配(Low-Rank Adaptation) |
LoRA Checkpoint Path | LoRA 检查点路径 / LoRA 微调权重路径 |
Adapter | 适配器层(微调时插入的小参数层) |
Fine-tune | 微调 |
Base model | 基础模型,原始模型 |
如你手上有某个 lora_checkpoint_path
配置或路径值,也可以贴出来,我可以帮你具体解释用途。