移动边缘计算网络中面向成本效益的联邦学习的联合类平衡客户端选择与带宽分配 论文阅读

Joint Class-Balanced Client Selection and Bandwidth Allocation for Cost-Efficient Federated Learning in Mobile Edge Computing Networks

摘要

联邦学习（FL）在保护数据隐私和减轻移动边缘计算（MEC）网络中的网络负担方面具有巨大潜力。然而，由于移动客户端（MC）的系统和数据异质性，在带宽有限的 MEC 网络中实现成本高效的 FL，客户端选择和带宽分配是关键。为应对这些挑战，我们研究了联合客户端选择和带宽分配问题，以降低 FL 训练的成本（即延迟和能耗）。我们提出了该问题，并将其分解为一个整体子问题以减少轮次数量，以及一个部分子问题以减少每轮 FL 的成本。我们提出了一个联合类别平衡客户端选择和带宽分配（CBCSBA）框架来解决整个问题。具体而言，对于整体子问题，CBCSBA 将 MC 组合成组，每个组的数据分布尽可能接近类别平衡分布；对于部分子问题，CBCSBA 通过探索性选择一个组，并顺序优化组内 MC 的延迟和能耗来降低成本。 实验结果表明，CBCSBA 在所考虑的四个数据集上平均将延迟降低 28.2%，能耗降低 25.3%，优于基准框架。

D. 问题构建

我们的目标是在联邦学习（FL）训练中的全局模型收敛时，通过最小化两种加权成本（即延迟和能耗），在移动边缘计算（MEC）网络中实现成本高效的联邦学习。为实现这一目标，我们对A={A(t)∣∀t∈T}\mathcal{A} = \{A^{(t)} \mid \forall t \in \mathcal{T}\}A={A(t)∣∀t∈T}和B={B(t)∣∀t∈T}\mathcal{B} = \{B^{(t)} \mid \forall t \in \mathcal{T}\}B={B(t)∣∀t∈T}进行优化，其中B(t)={Bm(t)∣∀m∈M}B^{(t)} = \{B_m^{(t)} \mid \forall m \in \mathcal{M}\}B(t)={Bm(t)​∣∀m∈M}，$\mathcal{A}$、$\mathcal{B}$分别代表客户端选择和带宽分配。相应的问题如下：

min⁡{A,B}∑t=1T(δLA(t)+(1−δ)EA(t))(12a) \min _{\{\mathcal{A}, \mathcal{B}\}} \sum_{t=1}^{\mathcal{T}}\left(\delta L_{\mathcal{A}^{(t)}}+(1-\delta) E_{\mathcal{A}^{(t)}}\right) \tag{12a} {A,B}min​t=1∑T​(δLA(t)​+(1−δ)EA(t)​)(12a) $$s.t.\mathcal{L}\left({\theta }_0^{(t)}\right)-\mathcal{L}\left({\theta }_{\ast }\right)\le \mathcal{E}\left({\pi }_0^{(t)}\ge {\pi }_{\ast }\right),\forall t\in \mathcal{T}\text{\hspace{1em}(12b)}$$ $${\mathcal{A}}^{(t)}\subseteq \mathcal{M},\forall t\in \mathcal{T}\text{\hspace{1em}(12c)}$$ $${\ell }_m^{(t),l}+{\ell }_m^{(t),u}\le L_{{\mathcal{A}}^{(t)}},\forall m\in {\mathcal{A}}^{(t)},\forall t\in \mathcal{T}\text{\hspace{1em}(12d)}$$ $$\sum _{m\in {\mathcal{A}}^{(t)}}{B}_m^{(t)}\le B,\forall t\in \mathcal{T}\text{\hspace{1em}(12e)}$$ $$(1),(2),(3)\text{\hspace{1em}(12f)}$$

其中，$\delta$是两种成本之间的权衡系数——由于不同的联邦学习任务可能偏向于关注不同的成本，${\pi }_0^{(t)}$表示轮次$t$中全局模型的精度。例如，在MEC网络中存在远程移动客户端（MC）的场景下，降低其能耗可延长续航时间并减少维护成本；而在语音通话等需要实时传输的场景中，时效性至关重要。$\delta$值越大，表明对时效性的关注度越高；$\delta$值越小，则表明对能源效率的需求越高。 各约束条件解释如下： - 约束（12b）：当全局模型的损失达到预定义收敛值$\mathcal{E}$，或全局模型的精度达到预定义精度值${\pi }_{\ast }$时，联邦学习训练终止； - 约束（12c）：联邦学习轮次$t$中选中的移动客户端子集${\mathcal{A}}^{(t)}$的数量不得超过$|\mathcal{M}|$（总移动客户端数量）； - 约束（12d）：轮次$t$的延迟$L_{{\mathcal{A}}^{(t)}}$由${\mathcal{A}}^{(t)}$中最慢的移动客户端决定； - 约束（12e）：分配给${\mathcal{A}}^{(t)}$中移动客户端的带宽不得超过MEC网络的总带宽； - 约束（12f）：体现移动客户端的系统异构性与数据异构性（对应公式（1）、（2）、（3）的定义）。

问题分析与分解

本节将对上述复杂且耦合的问题进行分析与分解。

A. 问题分析

问题（12a）的目标是最小化$T$轮训练的加权成本。若固定$T$（训练轮次），减少每轮的延迟与能耗可能降低目标成本值，但不当的设置可能导致不必要的成本，甚至导致全局模型训练失败。因此，我们不固定$T$，而是根据全局模型的收敛状态终止训练。 然而，由于移动客户端之间存在系统异构性与数据异构性，不同客户端选择组合对全局模型收敛的贡献，与延迟、能耗之间可能不存在相关性： - 若每轮均选择成本最低的移动客户端组合，这类客户端对全局模型收敛的贡献可能较低，导致全局模型收敛缓慢，最终使$T$增大； - 若选择能使全局模型快速收敛的客户端组合，每轮的成本又可能相对较高。 这种相关性缺失使得问题（12a）难以直接求解。 已知$T$的取值仅与客户端选择$\mathcal{A}$相关。因此，若每个移动客户端每轮的模型更新成本相同，只需考虑如何确定$\mathcal{A}$以减少$T$。基于此，我们在“每个移动客户端被选中概率相同”的前提下，采用期望来估计移动客户端的延迟与能耗。联邦学习训练的总成本大致可视为“训练轮次数量”与“每轮成本”的乘积。具体而言，为限制每个移动客户端的成本，我们给出如下引理1和引理2。

引理1 联邦学习轮次$t$中，移动客户端$m$进行一次模型更新的延迟期望$\mathbb{E}({\ell }_m^{(t),l})$可表示为： $$\mathbb{E}\left({\ell }_m^{(t),l}\right)=\frac{{\sum }_{i=1}^{\left|C_{|\mathcal{M}|}^{|{\mathcal{A}}^{(t)}|}\right|}{\sum }_{m\in {\mathcal{A}}_i^{(t)}}{\ell }_m^{(t),l}}{\left|{\mathcal{A}}^{(t)}\right|\cdot \left|C_{|\mathcal{M}|}^{|{\mathcal{A}}^{(t)}|}\right|}\text{\hspace{1em}(13)}$$ 其中，$\left|C_{|\mathcal{M}|}^{|{\mathcal{A}}^{(t)}|}\right|$表示从总移动客户端集合$\mathcal{M}$中选择$\left|{\mathcal{A}}^{(t)}\right|$个客户端的不同组合数量，${\mathcal{A}}_i^{(t)}$表示组合集合$C_{|\mathcal{M}|}^{|{\mathcal{A}}^{(t)}|}$中的第$i$个客户端选择组合。 证明：为简化表述，此处滥用符号$C_{|\mathcal{M}|}^{|{\mathcal{A}}^{(t)}|}$——本文中，$C_{|\mathcal{M}|}^{|{\mathcal{A}}^{(t)}|}$表示不同客户端选择组合${\mathcal{A}}_i^{(t)}$的集合，具体形式为C∣M∣∣A(t)∣={Ai(t)∣∀i∈∣C∣M∣∣A(t)∣∣}C_{|\mathcal{M}|}^{\left|\mathcal{A}^{(t)}\right|} = \{\mathcal{A}_{i}^{(t)} \mid \forall i \in \left|C_{|\mathcal{M}|}^{\left|\mathcal{A}^{(t)}\right|}\right|\}C∣M∣∣A(t)∣​={Ai(t)​∣∀i∈​C∣M∣∣A(t)∣​​}。假设每轮联邦学习将从$C_{|\mathcal{M}|}^{|{\mathcal{A}}^{(t)}|}$中选择$\left|{\mathcal{A}}^{(t)}\right|$个移动客户端参与训练。对于组合${\mathcal{A}}_i^{(t)}$，其延迟期望为${\sum }_{m\in {\mathcal{A}}_i^{(t)}}{\ell }_m^{(t),l}/\left|{\mathcal{A}}^{(t)}\right|$。对$C_{|\mathcal{M}|}^{|{\mathcal{A}}^{(t)}|}$中所有客户端组合的延迟期望求和，最终除以组合总数$\left|C_{|\mathcal{M}|}^{|{\mathcal{A}}^{(t)}|}\right|$，即可证明引理1。□

引理2 联邦学习轮次$t$中，移动客户端$m$进行一次模型更新的能耗期望$\mathbb{E}(e_m^{(t),l})$可表示为： $$\mathbb{E}\left(e_m^{(t),l}\right)=\sum _{m\in \mathcal{M}}{e}_m^{(t),l}/|\mathcal{M}|\text{\hspace{1em}(14)}$$ 证明：由于每轮联邦学习中所有移动客户端均为随机采样，且移动客户端$m\in \mathcal{M}$被选中参与训练的概率为$p_m=1/|\mathcal{M}|$，因此移动客户端$m$的能耗期望为${\sum }_{m\in \mathcal{M}}(1/|\mathcal{M}|)\times e_m^{(t),l}$，即可证明引理2。□ 基于上述两个引理，在轮次$t$中，我们只需考虑如何从$\mathcal{M}$中选择${\mathcal{A}}_t$，以减少模型收敛所需的轮次。随后，${\mathcal{A}}^{(t)}$中的移动客户端需通过无线链路将其模型发送至参数服务器（PS），此过程中可通过带宽分配进一步降低系统成本。基于上述内容，我们给出定理1如下：

定理1 若引理1和引理2成立，则联邦学习（FL）训练的总成本大致可表示为“训练轮次数量”与“每轮训练成本”的乘积。因此，问题（12a）可分解为两个子问题：减少模型收敛所需的轮次数量，以及降低每轮训练的成本。总成本近似等于这两个子问题对应优化目标的乘积。

证明 由公式（12a）可知，联邦学习的总成本为${\sum }_{t=1}^T(\delta L_{{\mathcal{A}}^{(t)}}+(1-\delta )E_{{\mathcal{A}}^{(t)}})$。在引理1和引理2的前提下，该总成本可转化为${\sum }_{t=1}^T\left(\delta \left({\ell }_m^{(t),u}+\mathbb{E}({\ell }_m^{(t),l})\right)+(1-\delta )\left(e_m^{(t),u}+\mathbb{E}(e_m^{(t),l})\right)\right)$。由此可见，要降低总成本，可通过两种途径实现：一是减少训练总轮次$T$，二是降低模型上传延迟${\ell }_m^{(t),u}$与上传能耗$e_m^{(t),u}$。其中，训练总轮次$T$仅受客户端选择影响，而模型上传延迟${\ell }_m^{(t),u}$与上传能耗$e_m^{(t),u}$仅与带宽分配相关。如前文所述，这两个优化方向可独立进行，互不干扰。综上，定理1得证。

根据定理1，我们将问题（12a）分解为两个子问题。如图2（可视化示意图）所示，通过“从整体上减少训练轮次”与“从局部上降低每轮成本”的双重优化，可实现总成本的降低。

B. 问题分解

两个子问题具体划分如下：

1）整体子问题：减少联邦学习训练轮次 由定理1可知，可通过客户端选择减少模型收敛所需的轮次。参考多数研究的设定，我们在每轮联邦学习中选择10%的移动客户端（MC）参与训练。由此，提取整体子问题如下： min⁡{A}T(15a) \min _{\{\mathcal{A}\}} \mathcal{T} \tag{15a} {A}min​T(15a) $$s.t.\mathcal{L}\left({\theta }_0^{(t)}\right)-\mathcal{L}\left({\theta }_{\ast }\right)\le \mathcal{E}\left({\pi }_0^{(t)}\ge {\pi }_{\ast }\right),\forall t\in \mathcal{T}\text{\hspace{1em}(15b)}$$ $$\left|{\mathcal{A}}^{(t)}\right|=|\mathcal{M}|/10,\forall t\in \mathcal{T}\text{\hspace{1em}(15c)}$$ $$p_m=1/|\mathcal{M}|,\forall m\in \mathcal{M}\text{\hspace{1em}(15d)}$$ $$(2),(3)\text{\hspace{1em}(15e)}$$ 其中，约束（15c）和（15d）是引理1和引理2的限定条件。

2）局部子问题：降低每轮联邦学习训练成本 已知在选定第$t$轮的客户端集合${\mathcal{A}}_t$后，需进一步考虑如何降低该轮训练的成本。由此，提取局部子问题如下：

### （接上文）局部子问题具体形式如下 min⁡{A(t),B(t)}(δLA(t)+(1−δ)EA(t))(16a) \min _{\left\{\mathcal{A}^{(t)}, \mathcal{B}^{(t)}\right\}}\left(\delta L_{\mathcal{A}^{(t)}}+(1-\delta) E_{\mathcal{A}^{(t)}}\right) \tag{16a} {A(t),B(t)}min​(δLA(t)​+(1−δ)EA(t)​)(16a) $$s.t.\sum _{m\in {\mathcal{A}}^{(t)}}{B}_m^{(t)}\le B,\text{\hspace{1em}(16b)}$$ $${\ell }_m^{(t),l}+{\ell }_m^{(t),u}\le L_{{\mathcal{A}}^{(t)}},\forall m\in {\mathcal{A}}^{(t)},\text{\hspace{1em}(16c)}$$ $$f_m^{(t)}\ne f_n^{(t)},\exists m,n\in {\mathcal{A}}^{(t)},m\ne n.\text{\hspace{1em}(16d)}$$

第五章 所提框架设计

本节提出类别平衡客户端选择与带宽分配（CBCSBA）框架，用于解决上述分解得到的“减少训练轮次”与“降低每轮成本”两个子问题。

A 类别平衡客户端选择与带宽分配框架

将复杂且紧密耦合的问题（12a）分解为子问题（15）和（16）后，我们提出CBCSBA框架分别求解这两个子问题，具体流程如图3所示。该框架包含两部分核心内容：求解整体子问题与求解局部子问题。 - 针对整体子问题：目标是最小化全局模型收敛所需的轮次。因此，在联邦学习开始前（即第0轮训练前），CBCSBA将愿意参与联邦学习的移动客户端（MC）划分为多个小组，使每个小组的数据分布尽可能接近“类别平衡分布”（即各数据类别的样本数量均匀）。 - 针对局部子问题：目标是最小化每轮训练的成本（即第t∈{0,1,…,T}t \in \{0,1,\dots,T\}t∈{0,1,…,T}轮的成本）。在模型更新阶段，理想情况下每个小组对全局模型的贡献一致，因此可突破“随机选组”的前提，偶尔选择成本最低的小组参与训练；但考虑到实际场景中客户端数据仅为“近似类别平衡”而非“完全类别平衡”，我们采用探索性策略选择成本最低的小组参与联邦学习训练。在模型上传阶段，通过带宽分配对小组内的移动客户端依次优化延迟与能耗。

B CBCSBA框架中整体子问题（15）的求解

下文将阐述CSCSBA框架中子问题（15）的具体求解过程。子问题（15）的一种简单解决方案是在每轮联邦学习中随机选择一组移动客户端，但这种类似FedAvg的随机选组方式无法加速全局模型收敛（即无法减少训练轮次）。 已有研究[28][31]表明：若每轮参与联邦学习的移动客户端组合满足“类别平衡”，则可加速全局模型收敛。因此，最直接的思路是提前将移动客户端划分为多个小组，使每个小组的数据分布与“类别平衡分布”匹配，从而加速全局模型收敛。同时，每个小组被选中的概率相等，不违反约束（15d）。 我们用G={Gk∣k∈∣G∣}G = \{G_k \mid k \in |G|\}G={Gk​∣k∈∣G∣}表示所有小组，其中$G$中每个小组的分布均尽可能接近类别平衡分布。定义$Q_{G_k}$为“小组$G_k$中移动客户端的数据分布”与“类别平衡分布”之间的距离，其计算方式为： $$Q_{G_k}={\left(\sum _{i=1}^{|y|}\sum _{m\in G_k}\frac{p_m|D_{m,i}|}{|D_m|}-\frac{1}{|y|}\right)}^2$$ （其中$p_m$为客户端$m$的权重，$|D_{m,i}|$为客户端$m$中类别$i$的样本数量，$|y|$为数据总类别数）。

随后，我们提出一种在所考虑的移动边缘计算（MEC）网络中将移动客户端集合$\mathcal{M}$划分为小组集合$G$的算法，具体如算法1所示。小组$G_k$的构建过程如算法1的第3-11行所示：首先从移动客户端集合$\mathcal{M}$中随机选择一个移动客户端$j$加入小组$G_k$；如算法1的第7-11行所述，若小组$G_k$的规模仍小于预设值$K$，则从$\mathcal{M}$中采用“不放回抽样”的方式选择移动客户端$j$，且所选客户端需满足“与当前$G_k$组合后，距离$Q_{G_k}$最小”的条件。当小组$G_k$的规模达到$K$时，该小组构建完成。 在联邦学习（FL）中，出于隐私保护的前提，参数服务器（PS）无法直接获取移动客户端的数据分布。近年来，已有研究[28][44]提出可通过参数服务器中的预训练模型与辅助数据推断移动客户端的类别分布，或对上传的类别分布直接加密。因此，本文假设移动客户端的类别分布是可获取的。综上，我们针对子问题（15）的解决方案为：在每轮联邦学习中随机选择一个小组$G_k\in G$参与训练，从而加速全局模型收敛。

为证明“距离$Q$越小，全局模型收敛越快”，我们给出如下理论分析及证明过程。我们假设每一轮的最优全局模型仅能通过在类别平衡数据集$\hat{D}$上训练得到，且由文献[45]可知：若训练数据集$D_{{\mathcal{A}}_t}$与类别平衡数据集$\hat{D}$不近似（$D_{{\mathcal{A}}_t}\not\approx \hat{D}$），则全局模型参数${\theta }_0^{(t)}\ne {\theta }_{\ast }^{(t)}$，这意味着训练数据存在类别不平衡问题，联邦学习无法得到最优全局模型；反之则可得到最优模型。基于此，我们可得到命题1。

命题1 若联邦学习第$t$轮参与训练的数据集$D_{{\mathcal{A}}_t}$满足类别平衡分布，则该轮的全局模型参数${\theta }_0^{(t)}={\theta }_{\ast }^{(t)}$（即全局模型达到最优）。

证明 设$x$表示训练轮次： - 当$x=0$（初始轮次）时，已知全局模型参数${\theta }_0^{(0)}={\sum }_{m\in {\mathcal{A}}_0}{p}_m{\theta }_m^{(0)}={\theta }_{\ast }^{(0)}$（初始模型满足最优条件）； - 假设当$x=t$且数据集$D_{{\mathcal{A}}_t}\sim \hat{D}$（近似类别平衡分布）时，${\theta }_0^{(t)}={\theta }_{\ast }^{(t)}$成立； - 对于$x=t+1$，全局模型参数的更新过程如下：
$$\begin{array}{rl}{\theta }_0^{(t+1)}& =\sum _{m\in {\mathcal{A}}_t}{p}_m{\theta }_m^{(t+1)}\\ & =\sum _{m\in {\mathcal{A}}_t}{p}_m{\theta }_m^{(t)}-\frac{{\lambda }^{(t)}}{\left|D_{{\mathcal{A}}_t}\right|}\sum _{d=1}^{|D_{{\mathcal{A}}_t}|}\mathcal{L}\left(x_d,y_d,{\theta }_m^{(t)}\right)\\ & ={\theta }_0^{(t)}-{\lambda }^{(t)}\mathcal{L}\left(x_d,y_d,{\theta }_m^{(t)}\right)={\theta }_{\ast }^{(t+1)}\end{array}$$
综上，通过数学归纳法可证明命题1成立。□ 因此，当参与训练的数据集$D_{{\mathcal{A}}^{(t)}}$的分布达到类别平衡（即距离$Q$越小）时，全局模型损失达到预设精度阈值${\pi }_{\ast }$的速度越快。此外，实验结果也验证了命题1的有效性。

C. CBCSBA框架中局部子问题

本节将阐述CBCSBA框架中子问题（16）的求解过程。针对子问题（16），我们的核心目标是最小化第$t$轮训练中“模型更新”与“模型上传”两个阶段的延迟和能耗。

在模型更新阶段，为满足引理1和引理2的约束条件，理论上需从小组集合$G$中随机选择一个小组参与每轮训练。但在理想情况下，第$t$轮选择任意小组均可实现相同的全局模型收敛效果。因此，一个直观的优化思路是：在每轮训练中选择“参与成本最低”的小组。这种方式既不会影响训练总轮次$T$，还可突破约束（15d）的限制（即无需严格按等概率选组）。不过需要注意，在非理想状态下，部分小组的距离$Q$值（与类别平衡分布的差距）并非最优，需通过后续策略平衡成本与分布合理性。

受多臂老虎机（Multi-armed Bandit）算法中“探索-利用”思想（即$ϵ$-贪心算法）[46]的启发，我们提出最小成本探索-选择（MCES）算法（如算法2所示），用于降低每轮联邦学习的模型更新成本。由于该算法通过“探索性策略”选择成本最低的小组，每轮训练成本必然低于引理1和引理2限定的理论上限。只要不影响训练总轮次$T$，该策略即为可行（第六章G节的实验也验证了其可行性）。算法2的核心逻辑是：基于第$t$轮的探索概率$\vartheta$选择成本最低的小组参与联邦学习训练，具体流程如下：首先，参数服务器（PS）根据探索概率$\vartheta$决定是否执行“探索”操作；如算法2第4-14行所示，若选择“探索”，参数服务器将获取所有移动客户端（MC）的CPU时钟频率，计算每个小组的参与成本后选择成本最低的小组；若不执行“探索”，则随机选择一个小组。

在模型上传阶段，当客户端选择结果（即集合${\mathcal{A}}^{(t)}$）确定后，不同移动客户端的模型更新延迟存在差异，由此产生“掉队节点效应”（straggler effect）——该效应会导致每轮训练成本升高。文献[16][17]从理论上证明：若让${\mathcal{A}}^{(t)}$中的所有移动客户端同时向参数服务器上传模型，可最小化掉队节点效应（即降低延迟）。但遗憾的是，本文的优化目标是“延迟与能耗的加权和”，且权衡系数$\delta$的存在使优化过程更复杂，难以找到同时满足“低延迟”与“低能耗”的最优解。通常而言，权衡系数$\delta$的取值方向决定了哪类成本能得到更优优化[22][40]。此外，由公式（10）可知，能耗受延迟影响；从公式（16a）中延迟与能耗的耦合关系可进一步看出：延迟降低时，能耗通常会随之降低，但反之则不一定成立。换句话说，必须先分配足够的带宽用于优化延迟，否则可能无法实现两类成本的有效权衡。

为实现上述目标，我们通过探索性实验发现：至少需将总分配带宽的60%优先用于延迟优化，剩余带宽则用于实现两类成本的权衡。因此，为匹配权衡系数对两类成本的可调优化特性，我们引入一个简单的线性映射函数$f(\delta )=0.4\delta +0.6$（需说明的是，无论选择线性还是非线性映射函数，均可实现该优化效果）。相应地，占比为$f(\delta )$的带宽用于延迟优化，占比为$1-f(\delta )$的带宽用于能耗优化。假设移动客户端$m$在延迟优化阶段获得的带宽比例为$B_m^{(t),f(\delta )}$，接下来我们将详细阐述能耗优化阶段的带宽分配策略。首先，为最大化能耗优化效果，我们给出如下命题。

命题2 对于已分配部分带宽$B_m^{(t),f(\delta )}$的移动客户端（MC）$m$而言，其上传能耗$e_m^{(t),u}$的降低量，与其关于带宽$B_m^{(t),f(\delta )}$的一阶导数大小呈正比。

证明 已知移动客户端$m$的上传能耗公式为： $e_m^{(t),u}=\frac{S{q}_m}{B_m^{(t),f(\delta )}\log \left(1+\frac{q_m{h}_m}{N_0}\right)}$ 对上传能耗$e_m^{(t),u}$关于带宽$B_m^{(t),f(\delta )}$求一阶偏导数，结果如下： $ \frac{\partial e_{m}^{(t),u}}{\partial B_{m}^{(t),f(\delta)}} = -\frac{S q_{m}}{\left(B_{m}^{{(t),f(\delta)}\right)}2 \log\left(1 + \frac{q_{m} h_{m}}{N_{0}}\right)} $

当移动客户端$m$在延迟优化阶段获得带宽$B_m^{(t),f(\delta )}$后，其上传能耗$e_m^{(t),u}$关于带宽$B_m^{(t),f(\delta )}$的变化率为$-\frac{S{q}_m}{{\left(B_m^{(t),f(\delta )}\right)}^2\log \left(1+\frac{q_m{h}_m}{N_0}\right)}$。由此可知，上传能耗的降低量与该一阶导数大小呈正比，即命题2得证。

基于命题2及移动客户端$m$在延迟优化阶段获得的带宽$B_m^{(t),f(\delta )}$，可得出以下结论：$B_m^{(t),f(\delta )}$越大，从$1-f(\delta )$比例的带宽中为其分配额外带宽时，能耗降低的幅度越小。因此，为实现整体能耗的降低，我们可根据${\mathcal{A}}^{(t)}$中每个移动客户端的一阶导数大小，按比例分配带宽。这意味着，我们可将带宽优先分配给“上传能耗对带宽变化更敏感”的移动客户端，从而降低总能耗。 综上，本文提出的带宽分配算法细节如算法3所示。具体而言： - 如算法3第4-8行、第9-12行及第20-23行所示，我们将占比为$f(\delta )$的带宽用于尽可能缓解掉队节点效应（即降低延迟），确保${\mathcal{A}}^{(t)}$中的所有移动客户端能同时向参数服务器（PS）上传模型； - 如算法3第13-19行所示，根据命题2，将占比为$1-f(\delta )$的带宽用于优化${\mathcal{A}}^{(t)}$中移动客户端的上传能耗。

D. CBCSBA框架的时间复杂度、空间复杂度与收敛性分析

本节将对所提出的CBCSBA框架进行时间复杂度分析。CBCSBA的时间复杂度由三部分构成： 1. 第五章B节算法（即小组划分算法）的时间复杂度为$O(|\mathcal{M}{|}^3)$，其复杂度主要来源于算法1的第2行、第7行与第8行（需遍历所有移动客户端组合以计算距离$Q_{G_k}$）； 2. 算法2（最小成本探索-选择算法）的时间复杂度为$O(|\mathcal{M}|\times T)$，由于该算法需在每轮训练中依次计算所有移动客户端（$\mathcal{M}$）的成本，因此该部分复杂度与客户端数量及总轮次$T$成正比； 3. 算法3（带宽分配算法）的时间复杂度为$O(|{\mathcal{A}}^{(t)}|\times \log (L_{up}/0.01)\times T)$，其中$L_{up}$为延迟上限，$\log (L_{up}/0.01)$对应二分法优化延迟的迭代次数。 综上，CBCSBA框架的总时间复杂度可简化表示为$O(|\mathcal{M}{|}^3+|{\mathcal{A}}^{(t)}|T)$。 CBCSBA的空间复杂度主要用于存储$|\mathcal{M}|$个移动客户端的各类信息（如CPU频率、数据分布、带宽需求等），因此空间复杂度为$O(|\mathcal{M}|)$。 为直观体现CBCSBA的效率，我们将其与现有框架的时间复杂度、空间复杂度进行对比，结果如表III所示。其中，文献[18][30]提出的框架时间复杂度为$O(|\mathcal{M}|T)$，是所有对比框架中最低的；在空间复杂度方面，包括CBCSBA在内的多数框架均需存储$|\mathcal{M}|$个移动客户端的信息，因此空间复杂度均为$O(|\mathcal{M}|)$。而文献[20][40]提出的框架还需额外存储强化学习（RL）模型参数$H_{\theta }$，且其时间复杂度为$O(H|\mathcal{M}|T)$（其中$H$为强化学习训练迭代次数），因此需要大量计算开销。 综上，尽管CBCSBA的时间复杂度并非最优，但由于其“移动客户端分组”的额外一次性计算开销部署在算力强大的参数服务器（PS）上，因此该计算开销在实际应用中是可接受的。 本节将简要讨论CBCSBA框架的收敛性。前文分析表明，模型的收敛轮次（即收敛速度）仅与客户端选择（$\mathcal{A}$）相关：如命题1所示，参与训练的移动客户端数据分布越接近类别平衡分布，模型收敛速度越快。无论采用随机选组策略还是MCES（最小成本探索-选择）选组策略，每轮参与训练的移动客户端组合的分布期望均满足类别平衡特性。因此，CBCSBA通过利用类别平衡分布，可有效提升模型的收敛速度。

E. CBCSBA框架的讨论

本节将讨论所提出的CBCSBA框架存在的局限性。CBCSBA框架假设参数服务器（PS）可预先获取每个移动客户端的数据分布，这一假设可能限制其实际应用场景——尤其在非可信环境中，该框架可能仅适用于可信环境（如同一机构管理的移动边缘网络）。 不过，现有文献[44]指出，可通过移动客户端的本地模型及参数服务器中的辅助数据推断客户端的标签分布，或对上传的类别分布进行加密处理，这一思路有望提升CBCSBA的适用性。尽管我们承认该框架存在实际应用局限，但需强调：机器学习领域“没有免费的午餐”原则决定了效率与隐私需相互权衡——若要通过类别平衡分布提升收敛效率，需在一定程度上获取客户端数据分布信息。 未来，我们计划探索无需直接获取移动客户端标签分布的估算方法，或利用参数服务器的辅助数据集推断标签分布，从而进一步提升CBCSBA框架的适用性与实用价值。