LoRA微调
LoRA（Low-Rank Adaptation）是近年在大模型微调中提出的一种高效技术，主要用于大规模预训练语言模型（如GPT、BERT等）的微调。其基本思想是在微调过程中，不直接更新整个模型的所有参数，而是引入低秩矩阵来对预训练模型进行适应，从而大幅减少训练参数量和计算开销。
1. 概念
LoRA（低秩适配）是一种针对大模型的参数高效微调技术。其核心思想是通过低秩矩阵调整模型参数，而非修改整个模型，从而大幅降低训练成本。
2. 核心原理
-
低秩矩阵： LoRA方法在原始网络参数更新过程中，通过引入低秩矩阵近似原始权重的更新
-
将网络的某些权重矩阵分解为两个较小的矩阵乘积，也就是低秩矩阵
-
这些小矩阵是需要微调的参数，而原始的预训练权重则保持不变。
-
-
减少计算和存储需求： 只需要调整相对较少的参数，同时又能实现与完全微调大模型类似的性能效果。
-
适应性：通过低秩矩阵的引入，使得微调过程可以更高效地适应特定任务，提升任务的表现，而不需大规模参数更新。
3. 功能
-
节省资源：
-
计算成本低：训练参数仅为原模型的 0.1%~1%，GPU 显存需求下降 50% 以上。
-
训练速度快：微调时间从几天缩短到几小时。
-
-
保留通用能力：
-
冻结原模型参数，避免微调后模型“遗忘”原有知识（如通用对话能力）。
-
-
灵活适配多任务：
-
可同时训练多个 LoRA 模块（如医学、法律、编程），按需切换。
-
-
适合小数据场景：
-
在数据量较少时（如 1 万条医学问答），仍能有效微调。
-
4. 对比传统微调
| 方法 | 训练参数数 | 显存占用 | 任务切换成本 | 适用场景 |
|---|---|---|---|---|
| 全参数微调 | 100% | 极高 | 高（保持多个大模型） | 数据充分、资源丰富 |
| LoRA | 0.1%~1% | 低 | 低（切换简单） | 数据稀缺、多任务适应 |
| 迁移微调（Adapter） | 1%~5% | 中 | 中 | 中等复杂任务 |
5. 典型应用
-
领域适应：让通用大模型学会医学诊断、法律咨询。
-
个性化需求：为不同用户定制对应话术（如重型模型、幽默型）。
-
轻量化部署：在手机端运行较大的模型（如LoRA量化技术）。
6. 原理
LoRA的核心思想是将权重变化（ΔW）分解成低秩表示，这样可以更高效地使用参数
LoRA的核心思想是将这个权重矩阵分解为两个较小的矩阵
-
一个低秩矩阵 A ，维度为 (d, r)
-
另一个低秩矩阵 B，维度为 (r, k)
其中，r 是低秩的秩，通常远小于原矩阵的维度 d 和 k。
LoRA 的精髓之一：以最小扰动介入原模型行为，助于模型稳定收敛，并仅通过训练少量参数（A 和 B）来适配新任务。
7. 消融实验
在机器学习中，它指通过有控制地改变模型的某个特定组件、设置或特征，来评估该组件的重要性。
LoRA微调消融实验就是通过系统性地改变LoRA配置中的一个或多个变量（即“移除”或“修改”它们），来研究这些变量对微调最终效果的影响。
LoRA有很多超参数，消融实验通常围绕它们展开：
- 1.秩（
r）的消融 - 2.目标模块（
target_modules）的消融 - 3.Alpha参数（
lora_alpha）的消融 - 4.Dropout（
lora_dropout）的消融