模型过拟合基本解决办法说明(个人学习向)
模型过拟合是一件很烦人的事情,下面介绍一些基本的解决办法:
1.在数据层面上:1)看看能不能扩充数据集,加强采样。 2)用一些数据增强的方法,人为地增加数据的种类,让模型更难去学习,增强模型的稳定性与泛化性。
2.在模型架构上:模型复杂度与问题复杂程度相匹配,若是过拟合,使用 1)更简单一些的模型进行处理。 2)使用Dropout层去随机移除网络之间的连接,既可以简化模型又可以优化模型前层后层的连接。
3.在训练策略上:1)利用别人预训练好的权重,即加载预训练网络(迁移学习的效果)。 2)训练早停,设置验证集,在合适位置停止模型训练。 3)学习率可以衰减调节。越接近目标可以学习率越小
ps:后面补实验证明
