CVPR 2025｜基于全客户端信息的联邦学习隐私泄露攻击方法

1 引言

 由清华大学与香港科技大学研究者联合完成的论文《FedMIA: An Effective Membership Inference Attack Exploiting All for One Principle in Federated Learning》发表于CVPR 2025。该研究聚焦于联邦学习中的隐私泄露风险，提出了一种全新的成员推断攻击方法FedMIA。不同于以往仅依赖目标客户端更新的攻击方式，FedMIA首次提出了All for One原则，充分利用非目标客户端在多轮通信中的更新信息，并将成员推断问题形式化为单尾似然比假设检验，从而显著提升了攻击的有效性与稳定性。论文在多个分类与生成任务上验证了FedMIA 的优势，结果表明该方法不仅超越了现有的六种主流攻击手段，还在面对多种防御策略、非独立同分布数据分布及不同联邦结构时表现出高度鲁棒性。该工作揭示了跨客户端更新模式中潜在的隐私风险，并为构建更安全的联邦学习系统提供了新的思路。

2 研究背景

 早期研究确立了联邦学习的分布式训练框架，使模型能够在数据不出域的前提下进行协同优化。然而，尽管联邦学习有效避免了数据集中化，模型更新本身仍可能泄露隐私，攻击者可以通过上传的梯度反推出训练样本。针对这一风险，研究者提出了成员推断攻击（Membership Inference Attack, MIA），其核心目标是判断某个样本是否参与模型训练。在集中式场景中，黑盒攻击依赖模型输出置信度区分成员与非成员，而白盒攻击则利用梯度信息进一步提升推断精度；在联邦学习场景下，已有方法多为被动攻击，仅基于目标客户端的更新进行分析。然而，这些方法忽略了非目标客户端上传的更新信息，未能充分利用联邦学习的全局结构，导致攻击效果受限；此外，部分影子模型方法依赖外部数据集，缺乏现实可行性。其代表性工作与局限如下表所示：

类别	核心思路	代表论文	存在的问题
黑盒集中式 MIA	利用模型预测置信度区分成员与非成员	Membership Inference Attacks Against Machine Learning Models	不适用于分布式学习，忽略通信更新信息
白盒集中式 MIA	利用梯度或参数更新进行推断	Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-box Inference Attacks Against Centralized and Federated Learning	需完整访问模型参数，假设过强，缺乏实用性
被动式 MIA	基于目标客户端更新的梯度范数或相似性进行区分	Effective Passive Membership Inference Attacks in Federated Learning Against Overparameterized Models	仅使用目标客户端信息，忽视非目标更新，无法利用全局信息
影子模型增强 MIA	使用辅助数据训练影子模型以模拟目标客户端行为	Enhance Membership Inference Attacks in Federated Learning	需外部辅助数据与额外训练，现实部署难度高

 针对以往成员推断攻击方法在联邦学习场景下存在忽略非目标客户端信息、依赖影子模型以及缺乏时序鲁棒性的问题，FedMIA 提出了三项核心创新：首先，利用非目标客户端的更新信息来协助推断目标成员关系，实现跨客户端的协同攻击；其次，将成员推断问题形式化为单尾似然比假设检验，通过非目标客户端估计非成员分布，从而避免直接建模目标分布的困难；最后，该方法无需影子模型，完全依赖服务端可见的更新记录，并结合多轮通信的时序信息，显著提升了鲁棒性与泛化能力。

3 论文方法

3.1 单尾似然比检验

 在联邦学习框架中，系统由一个服务器和$K$个客户端组成，训练过程共进行$T$轮通信。在第$t$轮中，第$k$个客户端上传其本地模型更新$I_k^{(t)}$，其中目标客户端记为$\text{tar}$，其更新为$I_{\text{tar}}^{(t)}$。FedMIA的任务是：给定某个样本$(x,y)$，基于服务器可观察到的全部客户端更新集合 I = { I k ( t ) ∣ t ∈ [ 1.. T ] , k ∈ [ 1.. K ] } , \mathcal{I}=\{I_k^{(t)} \mid t\in[1..T],\ k\in[1..K]\}, I={Ik(t)​∣t∈[1..T], k∈[1..K]},判断该样本是否属于目标客户端的训练集 $D_{\text{tar}}$，即在统计意义上区分以下两种假设： $$H_0:(x,y)\notin D_{\text{tar}}\text{vs.}{H}_1:(x,y)\in D_{\text{tar}}.$$在FedMIA的假设检验框架中，令$Q_{\text{in}}(I\mid x,y)$ 与 $Q_{\text{out}}(I\mid x,y)$分别表示更新由包含样本$(x,y)$的训练过程产生与更新未包含该样本训练的分布。经典似然比可定义为 $$\Lambda (I_{\text{tar}};x,y)=\frac{p_{\text{in}}(I_{\text{tar}}\mid x,y)}{p_{\text{out}}(I_{\text{tar}}\mid x,y)}.$$ 然而，由于服务器无法直接估计$Q_{\text{in}}$，在该论文中采用基于$Q_{\text{out}}$的单尾似然比检验，即在假设$H_0$下计算目标更新$I_{\text{tar}}^{(t)}$的极端程度。以右尾检验为例，定义单轮置信度为 $${\hat{\Lambda }}^{(t)}(I_{\text{tar}}^{(t)},x,y)=\underset{I\sim Q_{\text{out}}^{(t)}}{\mathrm{Pr}}[M(I\mid x,y)\ge M(I_{\text{tar}}^{(t)}\mid x,y)],$$ 其中，$M(\cdot \mid x,y)$为低维测度函数。综合多轮通信信息，FedMIA计算平均统计量 Λ ~ ( { I tar ( t ) } t = 1 T , x , y ) = 1 T ∑ t = 1 T Λ ^ ( t ) ( I tar ( t ) , x , y ) , \tilde\Lambda(\{I_{\text{tar}}^{(t)}\}_{t=1}^T,x,y)=\frac{1}{T}\sum_{t=1}^T \hat\Lambda^{(t)}(I_{\text{tar}}^{(t)},x,y), Λ~({Itar(t)​}t=1T​,x,y)=T1​t=1∑T​Λ^(t)(Itar(t)​,x,y), 最后，通过设置阈值$\delta$进行判断：当统计量$\tilde{\Lambda }$大于阈值时，说明样本$(x,y)$更可能属于目标客户端的训练数据；反之，则认为该样本未被用于训练。

3.2 低维测度

 由于直接在高维空间中估计更新分布$Q_{\text{out}}$十分复杂且不稳定，FedMIA首先将高维梯度更新映射为一个易于分析的一维标量，从而在低维空间中进行统计检验。论文采用梯度相似性的余弦相似度作为主要测度，用以衡量目标样本的梯度方向与客户端上传更新之间的相似程度，其定义如下： $$M(I\mid x,y)=\frac{⟨I,{\nabla }_{\omega }\ell (\omega ,x,y)⟩}{\Vert I\Vert \Vert {\nabla }_{\omega }\ell (\omega ,x,y)\Vert },$$ 其中，$\omega$表示当前全局模型参数，$\ell (\omega ,x,y)$为样本$(x,y)$的损失函数，${\nabla }_{\omega }\ell (\omega ,x,y)$表示该样本在全局模型下的梯度。直观地说，若上传的更新$I$与样本的梯度方向越一致（即相似度越高），则说明该样本更可能参与了该客户端的本地训练，因此，$M(I\mid x,y)$在成员样本上通常会取得更大的数值。该测度不仅能反映样本与更新间的关联强度，还可作为后续似然检验的核心统计量。

3.3 非目标客户端估计

 在每一轮通信中，服务器能够收集除目标客户端外的所有客户端更新 { I j ( t ) } j ≠ tar \{I_j^{(t)}\}_{j\ne\text{tar}} {Ij(t)​}j=tar​，并计算它们对应的测度值集合 { M ( I j ( t ) ∣ x , y ) } j ≠ tar \{M(I_j^{(t)}\mid x,y)\}_{j\ne\text{tar}} {M(Ij(t)​∣x,y)}j=tar​。这些非目标客户端的更新信息可以帮助服务器近似估计“未包含样本$(x,y)$进行训练的更新分布$Q_{\text{out}}$。 然而，在实际过程中，部分非目标客户端的更新中可能意外地包含与目标样本$(x,y)$高度相似的数据，从而导致极端异常的测度值。如果直接将这些极端值纳入统计，会使估计的分布出现偏差。为此，FedMIA采用3-$\sigma$规则对异常值进行过滤： $${\mu }_t=\frac{1}{K-1}\sum _{j\ne \text{tar}}M(I_j^{(t)}\mid x,y),{\sigma }_t=\sqrt{\frac{1}{K-1}\sum _{j\ne \text{tar}}(M(I_j^{(t)}\mid x,y)-{\mu }_t{)}^2}.$$ 即仅保留落在平均值${\mu }_t$附近$3{\sigma }_t$范围内的样本，用于构建滤波后的集合： U t = { j ≠ tar ∣ M ( I j ( t ) ∣ x , y ) ≤ μ t + 3 σ t } . U_t=\{j\ne\text{tar}\mid M(I_j^{(t)}\mid x,y)\le \mu_t+3\sigma_t\}. Ut​={j=tar∣M(Ij(t)​∣x,y)≤μt​+3σt​}. 接着，在该过滤后的集合$U_t$上估计非成员分布$Q_{\text{out}}^{(t)}$的统计参数。论文假设测度值服从高斯分布，因此计算均值与方差如下： $${\hat{\mu }}_{\text{out}}^{(t)}=\frac{1}{|U_t|}\sum _{j\in U_t}M(I_j^{(t)}\mid x,y),{\hat{v}}_{\text{out}}^{(t)}=\frac{1}{|U_t|}\sum _{j\in U_t}(M(I_j^{(t)}\mid x,y)-{\hat{\mu }}_{\text{out}}^{(t)}{)}^2.$$ 这种基于非目标客户端的统计建模方式使服务器能够稳健地刻画“非成员样本”在更新空间中的分布特征，从而为后续的似然检验提供可靠的参考基准。

3.4 计算单轮与多轮置信度

 在每一轮通信中，FedMIA会根据前一步估计得到的非成员分布$Q_{\text{out}}^{(t)}$来计算目标更新$I_{\text{tar}}^{(t)}$的置信度。假设成员样本通常会产生更大的测度值$M(I_{\text{tar}}^{(t)}\mid x,y)$（即它与全局模型的梯度方向更相似），那么可以通过右尾积分计算该样本在非成员分布下出现的概率： $${\hat{\Lambda }}^{(t)}(I_{\text{tar}}^{(t)},x,y)={\int }_{M(I_{\text{tar}}^{(t)}\mid x,y)}^{+\infty }\frac{1}{\sqrt{2\pi {\hat{v}}_{\text{out}}^{(t)}}}\exp (-\frac{(u-{\hat{\mu }}_{\text{out}}^{(t)}{)}^2}{2{\hat{v}}_{\text{out}}^{(t)}})du.$$ 这个积分值表示在假设样本为“非成员”的情况下，得到与目标更新同样极端或更大的测度值的概率。如果该概率较小，说明该更新的特征在非成员分布中非常罕见，从而更可能属于成员样本。 若成员样本在定义下对应较小的测度值（即左侧更极端），则可将积分方向改为左尾积分。 为了综合多轮通信的信息，FedMIA将所有通信轮次的单轮置信度取平均，得到最终的统计量：$$\tilde{\Lambda }=\frac{1}{T}\sum _{t=1}^T{\hat{\Lambda }}^{(t)}.$$ 最后，FedMIA会设定一个阈值$\delta$来做最终判断：如果计算得到的统计量$\tilde{\Lambda }$大于这个阈值，就说明该样本在多轮通信中表现得更像训练数据，也就是说它很可能被目标客户端用来训练过模型；反之，如果 $\tilde{\Lambda }$较小，就认为该样本没有出现在训练集中。 这种在多轮通信结果上取平均的方式，可以看作是“多次投票”，能够减少单轮判断的随机波动，让攻击结果更加稳定、可靠。

4 实验结果

4.1 对比基线攻击

 在CIFAR-100/AlexNet与ResNet18 的分类任务中，作者将 FedMIA-I（基于Loss）和FedMIA-II（基于Grad-cosine）与六种代表性 MIA（如Grad-Cosine、Loss-Series、Blackbox-Loss等）进行比较，实验设置为10个客户端、300个通信轮、不同本地epoch与非独立同分布设置，验证目的是评估FedMIA在标准分类任务上的整体有效性；结果显示FedMIA在AUC与TPR@FPR=0.1%上普遍领先，证明了利用“全客户端”信息能显著提升MIA效果。

4.2 鲁棒性与防御对抗

 在AlexNet/ResNet的CIFAR-100任务中，作者评估了FedMIA在多种防御策略（客户端差分隐私噪声、梯度稀疏化、MixUp、数据增强/采样等）下的攻击效果与隐私-效用权衡，实验设置包括在不同防御参数下测量攻击的TPR与模型测试误差，验证目的是检验FedMIA对常见防御的鲁棒性；结果表明FedMIA在多数防御配置下仍保持较高的攻击效果，说明简单的模型噪声或数据增强难以完全阻断其跨客户端利用的泄露信号。

4.3 时序/规模敏感性分析

 作者在不同通信轮、客户端数量、单客户端样本数与本地 epoch下测试攻击随训练进程与规模的变化，实验设置覆盖从少量到大量客户端、从少轮到多轮通信与1–9个本地 epoch，验证目的是分析FedMIA在实际联邦学习动态中的表现与易损阶段；结果显示随着通信轮增加与本地epoch增多、客户端数增大，FedMIA的TPR@FPR=0.1%通常提升（在某些配置上增幅显著），表明攻击能从时间与规模维度累积信息，从而在许多现实联邦设置中变得更有效。