LLM参数高效微调技术 PRFT

LLM参数高效微调技术

1. LoRA（Low-Rank Adaptation）

• 原理：在预训练模型的基础上，通过在Transformer层的权重矩阵上添加低秩分解矩阵来实现微调。不改变原模型的参数，只训练低秩矩阵，从而大大减少了需要训练的参数数量。
• 优点：减少内存占用和计算量，训练速度快，可在较小的数据集上高效微调。

2. Prefix Tuning

• 原理：在输入序列前添加可训练的连续向量（前缀），通过调整这些前缀来控制模型的输出，而不改变模型的主体参数。
• 优点：适用于各种模型架构，无需修改模型结构。

3. Adapters

• 原理：在Transformer层中插入小型的可训练模块（适配器），每个适配器由一个下采样层、一个非线性激活函数和一个上采样层组成。原模型的参数固定&#x