NLP高频面试题（二十七）——SFT有哪几种参数微调方法？有什么优缺点？

随着大语言模型的普及，高效微调方法逐渐成为研究热点。尤其在监督微调过程中，如何选择合适的参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）方法成为关注重点。本文将梳理SFT中常用的几种参数微调方法及各自的优缺点。

一、SFT中的参数微调方法

常见的参数微调方法主要分为两类：全参微调和PEFT方法。

• 全参微调：
  所有模型参数都参与微调，能够取得最佳性能，但参数量巨大、计算成本高，且易过拟合。

• PEFT方法：仅更新部分参数，具体包括：

  • Adapter Tuning
  • Prefix Tuning（含p-tuning v1/v2）
  • Prompt Tuning
  • LoRA（Low-Rank Adaptation）

二、几种PEFT方法的优缺点

1. Adapter Tuning

Adapter Tuning方法通过在Transformer层中插入额外的串行结构（Adapter模块），固定主模型参数，仅更新Adapter模块参数。

• 优点：

  • 参数量小，更新成本低。
  • Adapter可插拔，方便多任务应用。

• 缺点：

  • 串行结构易成为计算瓶颈，尤其在batch较小、序列长度较短时，显著降低推理效率。

2. Prefix Tuning

Prefix Tuning是在Transformer的每一层前面增加一段任务相关的虚拟token作为前缀，仅更新Prefix参数。

• 优点：

  • 并行结构，不影响Transformer层的计算效率。
  • 参数可学习，适应任务能力强。

• 缺点：

  • 引入的前缀token占用输入序列长度，严重影响模型可用的序列长度和扩展性。
  • 训练不稳定，需要额外加入MLP结构以提升稳定性。

3. Prompt Tuning

Prompt Tuning仅在输入层加入少量的可学习Prompt tokens。

• 优点：

  • 参数量极小，显存需求少。
  • 随着模型规模增加，效果逐渐逼近全参微调。

• 缺点：

  • 适合简单任务，复杂任务（如序列标注）效果较差。
  • 在小规模模型上效果有限。

4. LoRA（Low-Rank Adaptation）

LoRA利用低秩矩阵对模型的权重更新进行模拟，仅更新少量参数。

• 优点：

  • 并行结构，完全不影响基座模型的推理效率。
  • 参数极少且训练稳定，高效节省显存。
  • 可插拔，推理时能与原始模型合并，推理效率高。

• 缺点：

  • 受限于低秩假设，对一些复杂或多模态任务的表达能力可能有限。