探索可变参数提升不变学习以增强分布外泛化能力
探索可变参数提升不变学习以增强分布外泛化能力
https://arxiv.org/abs/2310.16391
论文核心原理解析
核心问题：如何在存在分布噪声的情况下，学习对分布变化鲁棒的模型？
1. 关键挑战
- 分布外（OOD）泛化：模型需适应未见过的分布，但传统方法易受分布特异性特征干扰。
- 彩票假设（LTH）的局限性：仅关注任务相关的“关键参数”，忽略了分布变化敏感的参数（可能误导优化）。
2. 核心思想：EVIL方法
提出**探索可变参数（Variant）与不变参数（Invariant）**的框架：
- 可变参数：对分布变化敏感的参数（如光照、背景等环境因素）。
- 不变参数：对任务核心特征（如物体形状、语义）稳定的参数。