SD框架下 LoRA 训练教程3-LORA学习率调度器（Learning Rate Scheduler）核心策略与实践指南

Ⅰ什么是学习率调度器（Learning Rate Scheduler） ？
在深度学习中，学习率调度器（Learning Rate Scheduler） 是一种在训练过程中动态调整学习率的策略。它的主要目的是在训练初期使用较大的学习率以加速收敛，而在训练后期逐渐减小学习率，以提高模型的稳定性和精度

可以将模型训练比作“下山找最低点”的过程：
初期：我们距离山底很远，需要迈大步（较大的学习率）快速接近目标。
后期：接近山底时，为了避免错过最低点，需要迈小步（较小的学习率）进行精细调整。
学习率调度器就是根据训练的不同阶段，自动调整“步伐大小”的工具。

Ⅱ常见的学习率调度策略
以下是几种常见的学习率调度策略及其特点：

线性衰减（Linear）
机制：学习率从初始值线性下降至零。
特点：实现简单，适用于大多数任务，但在训练后期可能导致学习率过低，影响收敛速度。

余弦退火（Cosine）
机制：学习率按照余弦函数曲线从初始值缓慢下降至零。
特点：下降曲线平滑，有助于模型稳定收敛，但需要预先设定训练总步数。

带重启的余弦退火（Cosine with Restarts）
机制：在余弦退火的基础上，周期性地将学习率重置为初始值，形成多个训练周期。
特点：有助于模型跳出局部最优，适用于训练时间较长或数据集复杂的任务。

多项式衰减（Polynomial）
机制：学习率按照多项式函数下降，下降速度由幂指数控制。特点：下降速度可调，适应不同训练需求，但参数设置较为复杂。

常数（Constant）
机制：学习率在整个训练过程中保持不变。
特点：实现简单，适用于对学习率敏感度较低的任务，但容易导致过拟合。

带预热的常数（Constant with Warmup）
机制：训练初期学习率从零线性增加至设定值，之后保持不变。
特点：预热阶段有助于模型稳定开始训练，避免初期震荡，但后期学习率不变可能限制模型进一步优化
如下图：

Ⅲ调度器（Learning Rate Scheduler）和学习率的关系
学习率（Learning Rate）：是控制模型在每次参数更新时步长大小的超参数。较大的学习率可以加快收敛速度，但可能导致模型在最优解附近震荡；较小的学习率有助于模型稳定收敛，但可能使训练过程变慢或陷入局部最优。
学习率调度器（Learning Rate Scheduler）：是一种在训练过程中根据预定规则动态调整学习率的机制。通过在训练初期使用较大的学习率以快速接近最优解，在训练后期逐渐减小学习率以精细调整模型参数，从而提高型的性能和收敛速度。换句话说，学习率调度器通过在训练过程中调整学习率的数值，来控制模型的学习步伐，从而在不同的训练阶段实现更有效的学习。

假设我们在训练一个图像识别模型，初始学习率设置为0.1。
无调度器：学习率始终保持在0.1，可能导致模型在接近最优解时仍以较大的步长更新参数，造成震荡或无法收敛。
使用调度器：例如，采用“StepLR”调度器，每隔10个epoch将学习率减半。这样，模型在训练初期以较大的学习率快速接近最优解，在训练后期以较小的学习率精细调整参数，提高模型的稳定性和精度。

总而言之：
学习率决定了模型在训练过程中每次参数更新的步长大小。
学习率调度器通过在训练过程中动态调整学习率，帮助模型在不同的训练阶段以合适的步长更新参数，从而提高训练效率和模型性能。