山西网站建设开发优化疫情二十条措施
本文深入解析ICLR 2025顶会论文《PLeaS: Merging Models with Permutations and Least Squares》，揭示模型融合领域突破性进展.
一、问题背景：模型合并的核心挑战
随着开源模型的爆发式增长，如何高效合并多个专用模型成为关键挑战。传统方法存在三大痛点：
- 初始化依赖：现有方法（如Task Arithmetic）要求模型源自相同预训练基础
- 尺寸僵化：合并后模型必须保持原始尺寸
- 数据隐私：多数方法需要原始训练数据
而PLeaS创新性地解决了这些难题，实现：
- ✅ 合并不同初始化的模型
- ✅ 动态控制输出模型尺寸
- ✅ 无需原始训练数据
二、核心原理：双阶段融合框架
PLeaS（Permutations and Least Squares）包含两个核心阶段：
阶段1：排列匹配（Permutation Matching）
def permutation_matching(layer_acts_A, layer_acts_B):