【2025CVPR-域泛化方向】PEER Pressure：单源域泛化的模型间正则化方法解析

这篇论文《PEER Pressure: Model-to-Model Regularization for Single Source Domain Generalization》提出了一种针对单源域泛化（sDG）问题的新方法，旨在解决基于数据增强的域泛化方法中存在的性能波动和特征失真问题。以下是论文主要内容的详细总结：

🧠 一、研究背景与问题定义

单源域泛化（sDG）是指仅使用一个源域训练模型，并期望该模型在多个未知目标域上具有良好的泛化能力。现有方法广泛采用数据增强来模拟域偏移，并通过特征对齐提取域不变特征。然而，作者发现这些方法在训练过程中会出现目标域性能波动（mid-train OOD fluctuation）​，即模型在目标域上的准确率在不同训练阶段显著波动，这给模型选择带来困难。

---

🔍 二、关键观察：数据增强的局限性

作者通过实验发现：

• 增强越复杂，目标域性能波动越大；

• 波动与源域-目标域之间的数据集距离（如OTDD距离）密切相关；

• 增强后的样本可能与原始样本差异巨大，甚至超过源域与目标域之间的差异；

• 简单的参数平均（parameter averaging）可缓解波动，但泛化提升有限。