2025-ICML-Enhancing Spectral GNNs: From Topology and Perturbation Perspectives

Information

1. Authors: Taoyang Qin, Ke-Jia CHEN, Zheng Liu
2. Affiliations: Nanjing University of Posts and Telecommunications

Abstract

1. 针对问题：图中存在重复的特征值，限制谱域GNN的能力
2. 解决： 高维 sheaf Laplacian Matrix——对图的拓扑信息进行编码，同时提高不同特征值数量的上界
   • Sheaf Laplacian Matrix 由 Normalized Graph Laplacian 的 block form 进行扰动获取
   • 理论分析了添加 Pertubed Sheaf Laplacian(PSL) 之后的谱域 GNN 的表达能力
   • 确立了特征值的 perturbation bounds
   • 基于节点分类任务测试了模型能力

1. Introduction

1. 此前工作多在设计线性变化解决特征值重复的问题，本文从 non-linear 的情景出发

2. Preliminaries

2.1 Spectral GNNs

若 $\phi$ 为线性/非线性函数，对应的 GNN 也相应被称为 线性/非线性 spectral GNNs

2.2 Theory of Cellular Sheaves

Definition 2.1

无向图 $G=(V,E)$ 上的 cellular sheaf $(G,\mathcal{F})$定义为：

1. 向量空间 $\mathcal{F}(v)$： 对应每个节点
2. 向量空间 $\mathcal{F}(e)$： 对应每条边
3. 线性映射 向量空间 ${\mathcal{F}}_{v⊴e}$：对应每个邻接的节点-边对 $v⊴e$，将 $\mathcal{F}(v)$ 的向量映射到 $\mathcal{F}(e)$

节点和边对应的向量空间称为 stalks，线性映射称为 restriction maps，这里令所有的stalks均为${\mathbb{R}}^d$，restricion maps 均为正交映射； ${\mathcal{F}}_{v⊴e}$ 和 ${\mathcal{F}}_{v⊴e}^T$ 分别表示从 node/edge stalk 到 edge/node stalk 的映射，则有 ${\mathcal{F}}_{u⊴(v,u)}^T{\mathcal{F}}_{v⊴(v,u)}$表示从 ${\mathcal{F}}_v$ 到 ${\mathcal{F}}_u$ 的映射

Definition 2.2

无向图 $G$ 上的单个 sheaf 对应的 sheaf Laplacian matrix 是一个块矩阵 ${\mathcal{L}}_{\mathcal{F}}$

1. 对角块为 ${\mathcal{L}}_{\mathcal{F},vv}={\sum }_{v⊴e}{\mathcal{F}}_{v⊴e}^T{\mathcal{F}}_{v⊴e}$
2. 非对角块为 ${\mathcal{L}}_{\mathcal{F},vu}=-{\mathcal{F}}_{v⊴e}^T{\mathcal{F}}_{u⊴e}$

半正定矩阵，当 restriction maps 为 identity maps 时， sheaf Laplacian Matrix 即为 graph Laplacian matrix 的块形式

Definition 2.3

sheaf Laplacian matrxi 的 normalized form 为 $\overline{{\mathcal{L}}_{\mathcal{F}}}=D^{-1/2}{\mathcal{L}}_{\mathcal{F}}{D}^{-1/2},D_v={\mathcal{L}}_{\mathcal{F},vv}$ ,sheaf Laplacian matrix 的对角阵为 $D=diag(D_1,...,D_n)$

3. Motivation

3.1 Limited Predictive Ability

Lemma 3.1.

若图拉普拉斯矩阵只有 $k$ 个不同的特征值，线性谱域GNNs最多只能生成 $k$ 个不同的 filter coefficients，因此最多只能生成最多 $k$ 个不同元素的一维预测结果

Theorem 3.2.

若图拉普拉斯矩阵只有 $k$ 个不同的特征值，若非线性实值函数 $\sigma$ 满足 $x\ne 0$ 则 $\sigma (x)\ne 0$，那么非线性谱域 GNNs最多只能生成 $k$ 个不同的 filter coefficients，因此最多只能生成最多 $k$ 个不同元素的一维预测结果

即便添加了非线性的激活函数，仍然无法提升预测能力

3.2 Loss of Frequency Components

若特征值存在重复，且对应的 filter function $g(\lambda )$ 选取不佳的话，会将某些特征值对应的值设为0，造成对应的多个频率信号一起丢失

一个小例子：很多数据集中均会出现特征值 1 的重复，因此使用 GCN （$g(\lambda )=1-\lambda$）时，如果不添加 self-loop，效果会差很多，添加之后特征值分布发生变化，丢失的 frequency component 会减少，进而提升模型表现

3.3 Restricted Frequency Processing Capability

重复的特征值会导致谱域 GNNs 的 $g({\lambda }_i)$出现重复，因此对不同的 $\widehat{X_i}$ 和 $\hat{X_j} $的处理也会变得一样，缺乏区分性

3.4 Why Perturbed Sheaf Laplacian

Sheaf Laplacian：提供更大的特征值取值范围，仍然保持半正定且在 [0,2] 区间内

Pertubed Sheaf Laplacian(PSL):

1. restriction map 设为 identity matrix 的轻微修改
2. 提高特征值的多样性
3. 更接近图拉普拉斯矩阵，保留拓扑结构信息

4. Method

4.1 Preprocessing of Graph Data

将初始输入的图 $X_0\in {\mathbb{R}}^{n\times f_1}$ 转换成 sheaf Laplacian matrix $\overline{{\mathcal{L}}_{\mathcal{F}}}\in {\mathbb{R}}^{nd\times nd}$:

4.2 Construction of Perturbed Sheaf Laplacian

当restriction map不是 identity map 时，$\overline{{\mathcal{L}}_{\mathcal{F}}}$ 可视为对块形式的图拉普拉斯矩阵进行扰动之后的结果，对于每一个块 ${\mathcal{L}}_{block,ij}$，施加相应的扰动矩阵 $Q_{ij}={\mathcal{F}}_{i⊴e}^T{\mathcal{F}}_{j⊴e}$ 即可得到 $\overline{{\mathcal{L}}_{\mathcal{F}}}$

Theorem 4.1

记 $P=\overline{{\mathcal{L}}_{\mathcal{F}}}-{\mathcal{L}}_{block}$ 为 ${\mathcal{L}}_{block}$对应的 perturbation matrix，$\varphi ={\min }_{i,j;i\ne j}|{\lambda }_i-{\lambda }_j|,{\lambda }_i$ 为 ${\mathcal{L}}_{block}$的特征值。则有，若 $||P|{|}_2<\frac{\varphi }{2}$，则特征值的重复度会下降

也就是说，扰动只应当设的小一点，这里设为 ${\mathcal{F}}_{i⊴(i,j)}=I-2\frac{u_{ij}{u}_{ij}^T}{||u_{ij}|{|}^2}$——Householder变换，$u_{ij}$范围为 $[\eta /10,\eta ],\eta$ 为足够小的值

4.3 PSL-GNN: Perturbed Sheaf Laplacian-Based GNN

理论上来讲，本方法可以与任意谱域GNN结合，这里以 GCN和 GPRGNN为例

4.3.1 PSL-GCN

即将 $g(\Delta )=I-\Delta$ 改为 $g({\Delta }_{\mathcal{F}})=I-{\Delta }_{\mathcal{F}}$
最后一层处理完后添加 reshape 模块：

4.3.2 PSL-GPR

GPRGNN: $Z={\sum }_{k=0}^K{\alpha }_k(I-\mathcal{L}{)}^k{X}_0$
PSL-GPR: $Y={\sum }_{k=0}^K{\alpha }_k(I-\overline{{\mathcal{L}}_{\mathcal{F}}}{)}^{k}X$
同样经过 reshape 和映射得到最终结果：

5. Theoretical Analysis

5.1 Expressiveness of PSL-GNN

Proposition 5.1

${\mathcal{L}}_{block}=\mathcal{L}\otimes I\in {\mathbb{R}}^{nd\times nd}$ 的不同特征值数量和 $\mathcal{L}$相同，对应的GNN的能力也相同

Corollary 5.2-5.4

PSL-GNN 有更强的一维预测能力/丢失的频率信息更少/处理 frequency components 的能力更强

5.2 Perturbation Bounds of Eigenvalues

perturbation 越小，特征值的变化也就越小，对于原图的结构信息的保持越好

6. Experiment

6.1 Evaluation on Real-World Datasets

1, Metrics:
- VAG(Vertical Average Gain)
- HAG(Horizontal Average Gain)

6.2 Ablation Study

Perturbed Sheaf Laplacian Matrix vs. General Sheaf Laplacian Matrix(GSL：不做任何限制地在整个正交空间里生成) vs. Normalized Graph Laplacian Matrix
PSL-GNN 和 GSL-GNN的表现相当，说明二者学习到的结构趋于一致

6.3 The Number of Distinct Eigenvalues

Pubmed 使用PSL之后的特征值数目仍然很少啊，但是效果竟然还可以