PEFT简介
以下是关于 PEFT（Parameter-Efficient Fine-tuning） 的简介，涵盖其定义、核心思想、常见方法及应用场景：
1. 什么是PEFT？
PEFT（参数高效微调）是机器学习领域的一种技术，专为预训练大模型（如BERT、GPT、LLaMA等） 的轻量级微调而设计。其核心目标是：
用极少的额外参数调整（<1%模型总参数量），使大模型适应下游任务，同时避免全参数微调的高计算成本。
2. 为什么需要PEFT？
传统微调（Full Fine-tuning）的痛点：
- 资源消耗大：调整数十亿参数需大量GPU内存和算力。
- 灾难性遗忘：全参数更新可能破坏预训练模型学到的通用知识。
- 存储成本高：每个任务需保存完整模型副本，占用空间巨大。
PEFT通过冻结大部分参数、仅调整少量参数，显著降低了上述问题的影响。
3. PEFT的常见方法
(1) Adapter Tuning
- 原理：在Transformer层中插入小型神经网络模块（Adapter），仅训练这些模块。
- 结构：Adapter通常由两个全连接层和残差连接组成，参数量占比极低。
- 示例：BERT + Adapter，参数量增加仅3%-4%。
(2) LoRA（Low-Rank Adaptation）
- 原理：通过低秩矩阵分解，模拟全参数更新的效果。
- 操作：在权重矩阵旁添加低秩矩阵（如ΔW = A×B，A和B为可训练矩阵），仅更新A和B。
- 优势：几乎不增加推理延迟，兼容模型合并。
(3) Prefix Tuning
- 原理：在输入序列前添加可学习的“前缀向量”（Prefix），引导模型生成任务相关输出。
- 特点：适用于生成任务（如文本生成），无需修改模型结构。
(4) Prompt Tuning
- 原理：通过优化“软提示词”（Soft Prompts）替代人工设计提示词，激活模型内部知识。
- 示例：在输入文本前添加可学习的向量，引导模型完成分类或生成任务。
(5) BitFit
- 原理：仅微调模型中的偏置项（Bias Terms），冻结其他参数。
- 参数量：通常占模型总参数量的0.1%-1%。
4. PEFT的优势
- 资源高效：GPU内存需求降低60%-90%，适合单卡训练。
- 保留通用性：避免灾难性遗忘，模型保持原有泛化能力。
- 快速部署：多个任务共享同一基座模型，仅需存储少量额外参数。
5. 应用场景
- 大模型轻量化适配：如微调LLaMA 3、ChatGLM等开源大模型。
- 多任务学习：同一基座模型快速切换不同下游任务。
- 边缘设备部署：在手机、IoT设备上运行轻量级微调模型。
总结
PEFT通过参数隔离和高效更新，解决了大模型微调中的资源瓶颈问题，已成为NLP、多模态模型落地的关键技术。随着大模型规模的增长，PEFT的研究（如QLoRA、DoRA等）仍在持续演进。