联邦学习中常用的聚合方式
在联邦学习中，聚合方式的选择直接影响模型性能、抗攻击能力和隐私保护效果。以下是几种常用的聚合方式及其原理、特点和应用场景：
一、联邦平均（FedAvg）
二、中位数聚合（Median Aggregation）
三、Krum 聚合
原理
- 计算每个客户端更新与其他所有更新的欧氏距离之和；
- 选择距离和最小的
个更新（
为客户端总数，
为恶意客户端数），再取平均。
特点
- 优势：理论上可抵抗
个恶意客户端，比中位数聚合更鲁棒。
- 不足：计算复杂度高，适用于小规模客户端场景。
应用场景
- 对安全性要求极高且客户端数量较少的场景。
四、Trimmed Mean 聚合
原理
- 将客户端更新按某种度量（如范数）排序；
- 剔除最大的
特点
- 优势：可抵抗
- 不足：需预先知道恶意客户端数量
应用场景
- 已知恶意客户端比例的场景，如工业物联网设备更新。
五、加权中位数（Weighted Median）
原理
结合FedAvg(联邦平均)的加权逻辑与中位数的抗噪特性：
- 对每个客户端更新赋予权重（如数据量
）； - 按更新值排序后，找到累计权重超过总权重一半的最小更新值。
特点
- 优势：兼顾数据量权重与抗攻击能力，比普通中位数更适应数据异构场景。
- 不足：计算复杂度高于普通中位数。
应用场景
- 数据量差异大且存在恶意客户端的场景（如跨企业联邦学习）。
六、去中心化聚合（Decentralized Aggregation）
原理
客户端不与中心服务器通信，仅与相邻客户端交换模型更新，通过分布式共识（如 gossip 协议）实现聚合。
特点
- 优势：无中心节点，抗单点故障，隐私泄露风险低。
- 不足：收敛速度慢，适用于对通信可靠性要求高的场景。
应用场景
- 边缘计算、传感器网络等分布式环境。
七、与隐私技术结合的聚合方式
1. 差分隐私联邦平均（DP-FedAvg）
- 原理：对 FedAvg 的更新添加差分隐私噪声，公式为：
- 其中
为隐私预算参数。为隐私预算参数。
2. 同态加密聚合（HE Aggregation）
- 原理：客户端用同态加密技术对更新加密，服务器在密文上直接聚合，解密后得到结果，避免泄露原始更新。
八、各聚合方式对比表
| 聚合方式 | 核心逻辑 | 抗恶意攻击能力 | 通信 / 计算开销 | 适用场景 |
|---|---|---|---|---|
| 联邦平均（FedAvg） | 数据量加权平均 | 弱 | 低 | 信任环境、效率优先 |
| 中位数聚合 | 排序取中位数 | 中 | 中 | 不可信环境、抗攻击需求 |
| Krum 聚合 | 距离和最小化 | 强 | 高 | 高安全需求、小规模客户端 |
| Trimmed Mean | 剔除极端值后平均 | 中（需已知 | 中 | 已知恶意比例的场景 |
| 加权中位数 | 加权 + 中位数 | 中 | 中 | 数据异构且存在恶意客户端 |
| 去中心化聚合 | 分布式共识 | 强（无中心节点） | 高 | 边缘计算、分布式网络 |
九、选择策略建议
- 优先 FedAvg：若场景信任度高、数据分布均衡，追求效率和简单性。
- 结合中位数 / Krum：若存在恶意攻击风险（如跨机构合作），需增强鲁棒性。
- 搭配隐私技术：无论采用哪种聚合方式，在涉及敏感数据时（如医疗、金融），建议结合差分隐私或同态加密，从 “抗攻击” 和 “隐私保护” 双维度保障系统安全。