使用 PyTorch 的 `optim.lr_scheduler.CosineAnnealingLR` 学习率调度器
使用 PyTorch 的 optim.lr_scheduler.CosineAnnealingLR 学习率调度器
在深度学习中，学习率（Learning Rate, LR）是影响模型训练效果的一个关键超参数。一个合适的学习率调度策略可以帮助模型更快地收敛，同时避免陷入局部最优或振荡。PyTorch 提供了多种学习率调度器，其中 CosineAnnealingLR 是一种基于余弦函数退火的学习率调整方法。本文将介绍 CosineAnnealingLR 的原理、用法以及一个简单的代码示例。
什么是 CosineAnnealingLR？
CosineAnnealingLR 是一种学习率调度策略，它基于余弦函数来调整学习率。其核心思想是让学习率在一个周期内从初始值逐渐减小到一个最小值，然后再根据设置决定是否重启新的周期。这种策略可以在训练过程中动态地调整学习率，使模型在训练初期以较大的学习率快速收敛，而在训练后期以较小的学习率进行微调。
余弦退火学习率的公式如下：