八、深度学习中的正则化

八、深度学习中的正则化

8.1. 认识过拟合：为什么需要正则化？

8.1.1 生活中的类比：记忆 vs 理解

想象一下两个学生备考：

• 学生A：死记硬背所有题目和答案(过拟合)
• 学生B：理解概念原理，掌握解题方法(良好泛化)

当遇到新题型时，学生A会束手无策，而学生B能灵活应对。正则化就是帮助我们的模型成为"学生B"的技术。

8.1.2 过拟合的数学表现

定义：模型在训练集上误差很小，但在测试集上误差很大

数学表达：

• 训练误差：Ltrain(w)=1n∑i=1nl(f(xi;w),yi)L_{train}(w) = \frac{1}{n}\sum_{i=1}^{n} l(f(x_i;w), y_i)L<