昆明网站制作企业做网站提成

---

---

4.3 参数选择方法

参数选择方法:

• 对预训练模型中部分参数微调，不添加额外参数以避免推理时增加计算成本，

• 分为基于规则和基于学习两类。

基于选择的方法，能减少更新参数量，降低计算和内存成本，适用于资源受限或需快速适应新任务的场景。但面临如何选最佳参数子集，以及平衡参数更新量与模型性能的挑战。

.

4.3.1 基于规则的方法

基于规则:

• 依靠专家经验确定需更新的参数；

• BitFit 是典型代表。

BitFit 仅优化神经网络各层偏置项（Biases）和任务特定分类头，因偏置项占比极小（约 0.08%-0.09%），故参数效率极高。

虽微调参数少，BitFit 在 GLUE Benchmark 上表现可与全量微调媲美，甚至在部分任务上更优，且允许更大学习率，优化更稳定。但其性能仅在小模型（如 BERT、RoBERT 等）上验证过，在更大模型上的表现未知。

除 BitFit 外，其他基于规则的方法通过仅微调特定 Transformer 层提高参数效率。Lee 等人提出，仅微调 BERT 和 RoBERTa 最后四分之一层，就能实现完全参数微调 90% 的性能。PaFi 选择绝对值最小的模型参数作为可训练参数。

.

4.3.2 基于学习的方法

基于学习：

• 自动选择可训练参数子集，

• 典型方法 Child-tuning 。

Child-tuning 通过梯度掩码矩阵策略，仅对选中的子网络进行梯度更新，屏蔽其他梯度，实现参数高效微调。

.

1）公式：

在参数高效微调中，假设 ${\mathbf{W}}_t$ 是第 t 轮迭代的参数矩阵，引入与 ${\mathbf{W}}_t$ 同维度的 0-1 掩码矩阵 ${\mathbf{M}}_t$， 用于选择第 t 轮迭代的子网络 ${\mathbf{C}}_t$，仅更新该子网络的参数，定义如下：

$${\mathbf{M}}_t^{(i)}=\{\begin{array}{ll}1,& \text{if }{\mathbf{W}}_t^{(i)}\in {\mathbf{C}}_t\\ 0,& \text{if }{\mathbf{W}}_t^{(i)}\notin {\mathbf{C}}_t\end{array}$$

其中，${\mathbf{M}}_t^{(i)}$ 和 ${\mathbf{W}}_t^{(i)}$ 分别是矩阵 ${\mathbf{M}}_t$ 和 ${\mathbf{W}}_t$ 在第 t 轮迭代的第 i 个元素。

此时，梯度更新公式为：

$${\mathbf{W}}_{t+1}={\mathbf{W}}_{t-\eta }\left(\frac{\partial \mathcal{L}({\mathbf{W}}_t)}{\partial {\mathbf{W}}_t}\odot {\mathbf{M}}_t\right)$$

其中：

• ${\mathbf{W}}_t$ 是第 (t) 轮迭代的参数矩阵。

• $\eta$ 是学习率。

• $\frac{\partial \mathcal{L}({\mathbf{W}}_t)}{\partial {\mathbf{W}}_t}$ 是损失函数 $\mathcal{L}$ 对参数矩阵 ${\mathbf{W}}_t$ 的梯度。

• $\odot$ 表示逐元素乘法。

• ${\mathbf{M}}_t$ 是掩码矩阵，用于选择子网络 ${\mathbf{C}}_t$ 中的参数。

Child-tuning 提供了两种生成子网络掩码 $\mathbf{M}$ 的方式，产生两种变体模型：$Child-tunin{g}_F$ 和 $Child-tunin{g}_D$。

.

2）Child-tuning 的两种变体模型

$Child-tunin{g}_F$

• 任务无关：不依赖下游任务数据，通过伯努利分布随机生成 0-1 掩码 Mt​ 选择子网络。

• 正则化：引入噪声对全梯度进行正则化，防止过拟合，提高泛化能力。
  $${\mathbf{M}}_t\sim \text{Bernoulli}(p_F)$$

$Child-tunin{g}_D$

• 任务驱动：利用下游任务数据，通过费舍尔信息矩阵（FIM,公式如下）估计参数对任务的重要性。

• 选择子网络：计算每个参数的费舍尔信息值，排序后选择前 $p_D$​ 比例的参数组成子网络 C。

• 训练：根据选定的子网络生成掩码矩阵完成模型训练。

$$F^{(i)}(W)=\frac{1}{|\mathcal{D}|}\sum _{j=1}^{|\mathcal{D}|}{\left(\frac{\partial \log p(Y_j|X_j;W)}{\partial W^{(i)}}\right)}^2$$

.

3）Child-tuning总结

Child-tuning 通过梯度屏蔽减少计算负担和模型过拟合风险，但在子网络选择尤其是任务驱动变体中存在计算代价高的问题。总体而言，它在多种下游任务中表现出色，尤其在训练数据有限时，并且可以与其他 PEFT 方法集成以进一步提升性能。

除 Child-tuning 外，其他基于学习的参数选择方法包括：

• Zhao 等人引入与模型权重相关的二值矩阵，通过阈值函数生成掩码并在反向传播中更新。

• Fish-Dip 使用 Fisher 信息计算掩码，且每个训练周期动态重新计算。

• LT-SFT 受“彩票假设”启发，根据初始微调阶段变化最大的参数子集形成掩码。

• SAM 提出二阶逼近方法，通过解析求解优化函数决定参数掩码。

.

---

其他参考：【大模型基础_毛玉仁】系列文章

---

声明：资源可能存在第三方来源，若有侵权请联系删除！