【文献阅读】基于空间金字塔池化卷积神经网络的网络鲁棒性评估综合分析
Comprehensive analysis ofnetwork robustness evaluation based on convolutional neural networks with spatial pyramid pooling
摘要：
连通鲁棒性作为网络理解、优化与修复的关键指标，传统上依赖于耗时且往往难以实施的仿真评估。所幸机器学习为此提供了创新解决方案，但以下挑战仍未解决：在更普适的边移除场景中的性能表现、通过攻击曲线而非直接训练来捕捉鲁棒性特征、预测任务的可扩展性以及预测能力的迁移性。本研究通过以下途径应对这些挑战：设计融合空间金字塔池化网络（SPP-net）的卷积神经网络（CNN）模型、改进现有评估指标、重构攻击模式、引入合适的过滤规则，并将鲁棒性数值作为训练数据。结果表明，当评估任务与训练网络类型匹配时，CNN框架在所有移除场景中均能准确评估攻击曲线和鲁棒性数值。该有效性适用于不同网络类型、故障组件类型及故障场景，凸显了模型在任务规模上的可扩展性和性能表现的迁移性。然而，除随机节点故障外，当预测任务与训练网络类型不一致时，CNN框架在各种移除场景中的表现均未达预期。此外，研究表明直接预测鲁棒性数值比通过攻击曲线预测获取的精度更高。值得注意的是，现有研究在网络特征评估中既忽视了场景敏感性现象，又高估了预测能力的迁移性，这需要进一步优化。文末我们还探讨了若干尚未解决的重要问题。
研究意义：
- 最大连通分量（LCC）规模需要一系列模拟计算，导致过程计算密集，对于快速扩展或动态网络甚至可能不切实际。
- 基于卷积神经网络（CNN）的机器学习方法出现为应对这一挑战开辟了新途径：通过预测LCC规模序列（攻击曲线）来评估鲁棒性。网络的邻接矩阵可直接视为图像进行处理，CNN训练完成后，鲁棒性评估可实现瞬时计算。
研究现状：
- 人工神经网络（ANN）作为基础神经网络模型，最初被用于预测网络的可控性鲁棒性[34]。
- 随后，以图像处理优势著称的卷积神经网络（CNN）被独立应用于在一个统一框架内预测控制鲁棒性[35]与连接鲁棒性（后文简称"鲁棒性"）[36]。
- 通过从单一CNN转向多CNN系统[37]，控制鲁棒性预测精度得到进一步提升。
- 此外，在预测前引入先验知识进行网络分类[38]，或在预测前后实施网络滤波[37,39]，均显示出进一步提高预测准确性的潜力。
- 除网络鲁棒性外，基于机器学习的方法在发现更有效的网络拆解策略方面也发挥了关键作用[40]。
- 近期还有综述研究[41,42]系统总结了该领域的相关发现与进展，充分证明了机器学习方法卓越的效能与效率。
挑战：
- 首先，节点移除是边移除的特例，本质上等同于每一步移除节点的所有边。必须探究机器学习框架能否在边移除场景下准确预测网络鲁棒性。
- 其次，机器学习模型的可扩展性仍是主要障碍。尽管先前尝试过预先随机缩减网络[37]或通过特征提取进行降维[43]，但这些方法仅产生有限效果，并引入了不可控的信息损失。
- 第三，现有方法主要通过最小化预测攻击曲线与模拟攻击曲线（通过每一步最大连通子图$LCC$的相对尺寸构建）之间的差异来提升算法性能。然而，最终的网络鲁棒性被表述为标量值$Robustness$，即每一步$LCC$相对尺寸的平均值。实践中，虽然每条模拟曲线都捕获了关键参数——对应的鲁棒性值，但这一要素在先前训练过程中被忽视了。
Q: 既然能准确预测LCC下降曲线，难道鲁棒性指标值不是也能准确预测了吗？因为fc和R值都和lcc曲线有关？
A:
研究方法：
本文通过采用结合SPP-net[44]的卷积神经网络(CNN)模型、针对不同规模训练网络设计新型模拟移除方法，并将网络鲁棒性值作为关键输入与攻击曲线联合训练，试图解决上述问题。在四种不同移除场景下对所提CNN框架的广泛测试，突显了其卓越的时效性。然而与早期单场景研究中过度乐观的预期不同，实际性能表明其同时依赖于特定场景和训练数据。本文重点阐释了CNN框架的显著特征，通过全面分析阐明其局限性的潜在成因，并提出改进方案以提升整体性能。
选择最大连通子图比例（LCC）作为节点失效或遭受攻击时网络连通鲁棒性的评估指标[22]，记作Rn
随机失效：随机节点失效（RNF）和随机边失效（REF）
恶意攻击：高度自适应攻击（HDAA）[45]和高边度自适应攻击（HEDAA）[18]
CNN（卷积神经网络）专为处理网格结构数据而设计，例如以二维像素网格表示的二进制图像数据。CNN通过结构重组与权重缩减，将特征提取功能整合到多层感知机中，省去了识别前复杂的特征图提取过程[46]。如图1所示，所提出的CNN架构主要由四个组件构成：输入层、八组卷积层、SPP-net以及两个全连接层（FC）。具体而言，第一阶段为输入层，接收 N×N尺寸的图像作为输入。随后，卷积层通过应用多种卷积核系统性地提取局部特征，并输出特征图（FMs）。CNN的具体参数详见表1，卷积运算中采用的小步幅有助于保留网络内的细节信息。在卷积运算之后，通常会施加一个激活函数，利用其非线性特性使神经网络能够逼近几乎任何预设的非线性函数。广泛采用的激活函数示例是修正线性单元（ReLU）[47]，其直接输出非负输入值；否则返回零值。用于减少特征数量和参数的池化层分为两种形式：平均池化与最大池化。本文采用步长为2的最大池化方法，使特征图尺寸的缩减仅发生在池化层内部。全连接层（FC）需要固定维度的输入向量，因此必须将输入展平为预定尺寸的向量。这导致网络在训练和预测阶段必须保持一致的规模。为解决这一问题，SPP-net[44]被提出。SPP-net克服了传统CNN因输入图像尺寸变化而需调整网络结构的局限，通过将输入特征图划分为不同尺度的网格并对每个网格执行池化操作，增强了网络的鲁棒性。所有尺度的池化结果最终被拼接起来，从而在适应多种输入尺寸的同时保留了输入图像的空间信息。设经过一系列卷积运算后，输入SPP-net的特征映射为$X$。令$D$表示最后一层的输出通道数，$H$为空间金字塔中的总区间数。空间金字塔池化（SPP）过程的数学定义如下：......最终生成30个分箱，输出固定长度的30 ×512 =15,360维向量。经过SPP处理后，这些向量被输入全连接层以实现学习目标。通常，具有n个节点的无向无权网络可用邻接矩阵表示，该矩阵可直接视为二值图像——矩阵元素值为1表示存在边，0表示无边。
损失函数的选择对模型的有效学习至关重要。本文采用预测向量（称为攻击曲线和标量鲁棒性）与模拟向量（同上）之间的均方误差（MSE）作为损失函数,前L个元素为攻击曲线元素，第(L+1)个元素代表鲁棒性指标。
Baseline:
有必要先介绍一个先前类似的模型——CNN-RP模型[36]，并将其作为本文提出模型的基线。CNN-RP是一个用于预测网络连通鲁棒性的基础CNN模型。该模型与本文模型的差异如下：（1）本文模型架构如图1所示且采用更小的卷积核，而CNN-RP模型由七个卷积层和两个全连接层构成；（2）CNN-RP模型的仿真数据通过顺序移除节点获得，由于CNN对训练数据规模和预测任务的限制，使其只能处理与训练数据严格同规模的任务，缺乏可扩展性；（3）CNN-RP模型仅能处理节点移除场景的鲁棒性预测；（4）除边界值过滤器外，CNN-RP模型还包含单调非递减约束，若预测结果不满足该条件，则通过均值插值生成的数值替换异常值。此外为保证可比性，我们将CNN-RP模型原有的鲁棒性计算方式替换为式(1)，需说明该操作不影响模型性能。
模型训练：
图1的初始部分显示，获取的图像被输入到CNN中进行训练。通过将SPP-net集成到CNN中，该模型增强了处理不同规模网络进行预测的能力。然而，训练数据仍限制网络最多只能有两种不同规模（单规模或多规模）[44]。为简化流程，我们选择单规模模式进行训练，即固定网络规模为1000，同时设定$T = S =1000$。训练采用合成网络，每个训练网络的输入形式为二元组$(G, L_{RS})$，其中$G$表示网络的邻接矩阵，$L_{RS}$是维度为1001的标签向量。$L_{RS}$的前1000个元素对应移除相应比例节点或边后最大连通分量（LCC）的相对规模，即攻击曲线；最后一个元素表示网络鲁棒性，记为$R_n$或$R_e$，代表攻击曲线下面积的归一化值。
Q: 然而，训练数据仍限制网络最多只能有两种不同规模（单规模或多规模）
A: 问题出在标签制备上
DATASET：用于训练的人工合成网络包括ER模型网络[15]和BA模型网络[48]，它们分别作为同配网络和异配网络的代表，每种网络各具有三种不同的平均度⟨𝑘⟩ =4、6和8。以随机故障为例，每次攻击涉及从原始网络中随机移除比例为𝑝的节点或边，其中𝑝的取值范围为0至0.999，步长为0.001。随后计算剩余网络的𝑅𝑛或𝑅𝑒。在预测阶段，将不同规模的合成网络和实证网络作为目标网络输入模型，返回结果为长度1001的向量，其数值类型与𝐿𝑅𝑆相同。最后，针对预测值可能缺乏物理意义的问题（例如当𝐺𝑛或𝐺𝑒大于1或小于0时），可通过设置过滤机制进行归一化处理：大于1的值设为1，小于0的值设为0。在此背景下，我们暂未引入额外的单调性滤波器以进行鲁棒性评估,旨在阐明CNN模型的真实预测能力。
为训练带有SPP-net的CNN模型，针对每种移除场景生成了1000个具有不同平均度的合成网络。其中，800个案例用于训练，100个用于交叉验证，100个用于测试。例如，在随机边移除场景中，总共有2（ER网络和BA网络）×3（⟨𝑘⟩ =4,6,8）×800 =4800个训练实例、600个交叉验证实例和600个测试实例。训练周期数设置为20，批量大小固定为4。
训练过程中，实例数据会被随机打乱，附录中的图A.1展示了不同攻击场景下的损失值变化。训练损失通过最小化参数调整过程中的关联损失函数，衡量模型在训练数据上的表现；而验证损失则评估模型对未见数据的泛化能力，作为防止过拟合的检验指标。监控训练损失与验证损失之间的差距有助于识别潜在的过拟合问题。平衡这两种损失有助于筛选出面对新数据时表现更优的模型。 随着训练轮次增加，训练损失与验证损失均呈现较小数值且逐渐收敛。这表明模型在训练集和验证集上的性能趋于一致，通常意味着模型具备良好的泛化能力，能在未见数据上表现优异。训练/验证损失的逐步收敛可能暗示模型在学习过程中逐渐克服过拟合，从而更好地适应不同数据分布。观测到这种趋势往往标志着训练过程中性能的稳定提升。
结果：
我们在四种移除场景下进行了评估实验：随机节点失效（RNF）、基于HDAA的恶意节点攻击、随机边失效（REF）以及基于HDAA的恶意边攻击HEDAA，
涵盖合成网络与实证网络两类数据集。其中合成网络包括ER网络（随机网络）和BA网络（无标度网络），实证网络则涉及多学科领域。这些实验全面验证了整合SPP-net的CNN模型在所有场景下的整体评估能力。
weakness：
创新性的价值欠缺：文章的创新点主要是对现有CNN方法的扩展和系统化验证，而非根本性突破。SPP-net的引入（解决尺寸问题）和将鲁棒性值作为直接训练目标，都是非常巧妙和实用的改进，但核心思想（用CNN预测鲁棒性）在参考文献[36, 37]等中已经建立。且引入SPPnet后只解决了输入的限制，在后续模块中仍有很大的限制，比如论文承认训练数据最多支持两种网络规模，这是SPP-net与全连接层结合时的一个实践折衷。这限制了模型真正实现“任意尺度”预测的能力，是一个明显的技术短板。
基线对比的深度不足：基线模型仅选择了CNN-RP。这虽然是合理的直接对比对象，但缺乏与其他类型机器学习方法的对比。例如，与一些基于图嵌入（Graph Embedding）的简单回归模型，或者与一些计算高效的、基于网络统计量的启发式方法进行对比，可以更好地说明在精度和效率的权衡下，复杂的CNN模型是否真的具有不可替代的优势。
对“为何HEDAA最难”的解释不够深入：文章将边攻击预测难归因于“训练深度不足”和“组合可能性多”。这虽然是部分原因，但可以更深入。是否因为边的重要性（如基于介数的度量）比边度（edge degree）更能影响连通性？CNN模型从图像中是否难以有效学习到这种更复杂的边中心性概念？一个更根本的归因分析会更有价值。
读后有感：
自机器学习和深度学习快速发展以来，人们喜欢用他来解决很多不同领域、不同学科的传统问题。但是当我们用机器学习方法之前，不如先问一问：有必要吗？引入机器学习有什么优势？
传统的鲁棒性评估已经有了很多方法，而机器学习的引入源于传统模拟方法计算成本，例如后验鲁棒性指标需要多次模拟攻击，模拟攻击通常在大规模合成网络以及真实网络中成本高昂，所以当我们使用机器学习的方法时，是否考虑了这些先决条件？如果我们仍去解决小规模合成网络中的鲁棒性评估问题，那么引入机器学习是否有必要？
已有研究表明攻击模拟耗时（如 ER 网络：11.65 秒）远高于 CNN-RP 预测时间（0.12 秒），机器学习的方法将在军事领域有极大作用，提高作战效率。但目前大部分研究都在真实网络中起效甚微，面对军事集群场景也许需要更特殊的设计。
最开始人们使用ANN（MLP）(Using Machine Learning to Quantify
the Robustness of Network Controllability)，训练数据包括真实世界网络数据（Internet Topology Zoo ）和合成网络数据（ER,BA,）
预测目标是：归一化的最小驱动节点数 nD，作为被移除链路（link-based attacks）比例 的函数。目标攻击下ANN 模型在合成和真实网络中均优于传统解析，随机攻击下ANN 在 ER 和 BA 网络中也显著提升预测精度，在真实网络中，ANN 在 70% 的测试网络中优于解析近似。
后来又地将网络拓扑与图像类比使用CNN，进步之处在于大幅减少了参数量，CNN能自动学习到网络中有意义的局部拓扑模式。例如，一个3x3的卷积核可以学习检测“三角形”（即网络中的小团体或闭包）。A Convolutional Neural Network Approach to Predicting Network Connectedness Robustness 提出了一种基于卷积神经网络（CNN）的方法来预测复杂网络的连通性鲁棒性。训练数据和预测数据如下：
CNN-RP 能够准确预测 NLC 曲线的整体形状和细节（如转折点），对于真实网络，CNN-RP 能预测大致轮廓，但细节不如合成网络准确。
而到底用哪种深度学习模型去处理网络结构数据最佳，似乎没有定论，CNN将网络的邻接矩阵视为图像，存在固有缺陷结构信息损失：将图强行压缩成二维网格，可能会损失一些复杂的、非局部的拓扑特征。虽然CNN能捕捉局部连接模式，但对于需要全局推理的图结构，其能力可能不如专门为图数据设计的图神经网络（GNN）:
然而，鲁棒性预测的核心是评估网络在扰动下的全局稳定性，这通常依赖渗流阈值、级联故障传播等全局指标。GNN 的核心操作是消息传递，即通过聚合邻居节点的信息来更新节点表示。这个过程学习的是节点与其局部连接环境（如三角形、星型、桥接关系等）之间的通用结构模式，识别这些功能角色或关键结构特征，GNN 的设计目标更偏向局部或节点级任务（如节点分类、链路预测），其架构难以直接适配全局推理需求