模型融合文章WUDI-Merging ICML2025

文章解决的问题和挑战：

模型合并中的“干扰”导致性能退化
将多个专家合成统一模型时，各专家之间的参数干扰使合并模型在特定任务上落后于对应专家，成为模型合并的核心难题。

无数据（data-free）合并的性能差距
无数据方法无需额外数据/存储，隐私友好，但由于缺乏数据支撑，普遍落后于 TTA 与多任务学习。

关键科学挑战：如何在“无数据”前提下消除干扰
论文指出一个理论抓手：线性层的任务向量近似张成其对应输入的线性子空间。若能据此设计约束，就有机会仅凭任务向量信息来最小化干扰、无需测试数据或额外系数。

论文的解决思路： 基于上述性质，提出 WUDI-Merging，以“让引发干扰的成分自己‘结束’干扰”为原则，引导无数据的合并过程，从而在不借助测试数据、不增加存储、也不引入重缩放系数的条件下缓解干扰并取得更优性能。

相关工作