当前位置：首页 > news >正文

Python训练营打卡 Day52

news 2025/9/15 7:59:44

神经网络调参指南

知识点回顾：

随机种子
内参的初始化
神经网络调参指南
1. 参数的分类
2. 调参的顺序
3. 各部分参数的调整心得

随机种子
- 定义：随机种子就像是餐厅的每日菜单，确保每次运行代码时，模型初始化和数据打乱的随机操作保持一致，方便调试和对比结果。
- 作用：确保实验的可复现性。
内参的初始化
- 定义：内参初始化就像是厨师在烹饪前对食材进行预处理，确保食材的新鲜度和质量。在神经网络中，参数初始化方法（如 Xavier 初始化、He 初始化）对模型的训练过程和最终性能有重要影响。
- 常见方法：
  - Xavier 初始化：适用于激活函数为 sigmoid 或 tanh 的网络。
  - He 初始化：适用于激活函数为 ReLU 的网络。
神经网络调参指南
- 参数的分类：
  - 学习率：控制优化步骤的大小。
  - 批量大小：每次训练使用的样本数量。
  - 优化器：如 SGD、Adam 等。
  - 正则化参数：如 L2 正则化强度、Dropout 概率。
- 调参的顺序：
  1. 学习率：先找到合适的学习率范围。类似于厨师烹饪时的火候控制，火候太大容易烧焦，太小则烹饪时间过长。
  2. 优化器：选择合适的优化器。类似于餐厅的管理策略，不同的管理策略（如 SGD、Adam）会影响餐厅的运营效率和顾客满意度。
  3. 批量大小：根据显存和数据特性调整。类似于餐厅每次接待的顾客数量，接待太多顾客可能影响服务质量，太少则资源利用率低。
  4. 正则化参数：最后调整正则化参数以防止过拟合。类似于餐厅的卫生标准，适当的卫生标准可以防止食物中毒（过拟合），但标准过高会增加运营成本。
- 各部分参数的调整心得：
  - 学习率：学习率过高会导致训练不稳定，过低则训练速度慢。可以使用学习率调度器动态调整。
  - 批量大小：较大的批量大小可以提高训练稳定性，但会增加显存占用。较小的批量大小可以提高泛化能力，但训练过程可能更不稳定。
  - 优化器：Adam 优化器通常表现较好，但 SGD 在某些情况下也能取得很好的效果。
  - 正则化参数：Dropout 概率一般在 0.3 到 0.5 之间，L2 正则化强度一般在 0.0001 到 0.01 之间。

作业：对于day'41的简单cnn，看看是否可以借助调参指南进一步提高精度。

为了提升简单CNN在CIFAR-10数据集上的精度，可以参考以下调参建议。这些操作如同优化餐厅运营，旨在提升出菜质量。

学习率调整：学习率决定了权重更新的幅度。当前使用固定学习率0.001，可以采用学习率调度器动态调整。例如，当验证损失 plateau 时，降低学习率。这好比根据餐厅运营状况灵活调整营销策略，初始高学习率快速降低损失，后期低学习率精细调整。
```
scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', patience=3, factor=0.5)
```
学习率调整：学习率决定了权重更新的幅度。当前使用固定学习率0.001，可以采用学习率调度器动态调整。例如，当验证损失 plateau 时，降低学习率。这好比根据餐厅运营状况灵活调整营销策略，初始高学习率快速降低损失，后期低学习率精细调整。
```
scheduler = optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', patience=3, factor=0.5)
```
优化器选择：Adam优化器适合大多数情况，但SGD在某些场景下可能带来更好的泛化性能。可以尝试SGD with momentum。这类似于更换餐厅管理团队，不同优化器有着各自的管理风格。
批量大小调整：批量大小影响训练稳定性和显存占用。当前批量大小为64，可以尝试128或256。这如同调整餐厅同一时间接待的顾客数量，需根据显存合理选择。
```
optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5)
```
正则化增强：当前使用Dropout（p=0.5），可以尝试增加L2正则化（weight decay）。这如同为防止食材变质而调整存储条件，有助于防止过拟合。
```
train_transform = transforms.Compose([# ...其他转换...transforms.RandomErasing(p=0.1),
])
```
批量大小调整：批量大小影响训练稳定性和显存占用。当前批量大小为64，可以尝试128或256。这如同调整餐厅同一时间接待的顾客数量，需根据显存合理选择。
```
self.bn_fc = nn.BatchNorm1d(512)
x = self.bn_fc(x)
```
正则化增强：当前使用Dropout（p=0.5），可以尝试增加L2正则化（weight decay）。这如同为防止食材变质而调整存储条件，有助于防止过拟合。