[2025CVPR-域泛化方向]:通过改进损失景观实现更好的域泛化
1. 域泛化:机器学习中的重大挑战
在现实世界应用中,我们经常遇到域偏移(Domain Shift)问题——训练数据和测试数据分布不一致导致模型性能下降。域泛化(Domain Generalization, DG)正是为了解决这一难题而提出的研究方向。
域泛化的核心目标是:从多个训练域中学习模型,使其能够泛化到训练时未曾见过的测试域。这与域适应(Domain Adaptation)不同,在域泛化中,测试域在训练时是完全不可见的。
2. 损失景观与泛化能力的关系
2.1 理论基础
损失景观(Loss Landscape)指的是损失函数在参数空间中的形状。近年来,研究表明损失景观的平坦度与模型的泛化能力密切相关:
-
平坦最小值(Flat Minima)对应更好的泛化能力
-
尖锐最小值(Sharp Minima)容易导致过拟合
从理论角度看,各种域泛化方法的最终目标都是构建一个合适的损失景观,使得在训练域上找到的损失最小值点也正好是未见测试域上的损失最小值点。