TNNLS-2015《Linear-Time Subspace Clustering via Bipartite Graph Modeling》

---

核心思想

这篇论文的核心思想是提出一种线性时间复杂度的子空间聚类方法，以应对大规模数据集的聚类需求。传统最先进的方法（如SSC、LRR）虽然精度高，但其计算复杂度为信号数量 $L$ 的多项式级别（如 $O(L^2)$ 或 $O(L^3)$），难以处理海量数据。

作者的创新之处在于，没有直接在信号之间构建亲和矩阵，而是引入了一个字典（Dictionary） $D\in {\mathbb{R}}^{N\times M}$。每个信号 $y_i$ 通过稀疏编码（如OMP算法）被表示为字典原子的线性组合，得到稀疏系数矩阵 $C\in {\mathbb{R}}^{M\times L}$。

接着，作者将稀疏系数矩阵 $C$ 的绝对值 $A=|C|$ 视为一个二分图（Bipartite Graph的亲和矩阵。该二分图包含两类互不相交的顶点：一类是 $M$ 个字典原子，另一类是 $L$ 个信号。边的权重由 $A_{ij}$ 决定，表示第 $j$ 个信号对第 $i$ 个原子的依赖程度。

最后，通过一个低复杂度的二分图谱聚类算法对这个图进行分割，从而同时对原子和信号进行聚类。由于字典原子的数量 $M$ 远小于信号数量 $L$（即 $M\ll L$），整个算法的复杂度被降低到关于 $L$ 的线性级别。

---

目标函数与优化过程

论文本身并没有像SSC或LRR那样定义一个单一的、端到端的全局目标函数。它的流程是分阶段的，每个阶段有其独立的优化目标：

1. 字典学习阶段 (Dictionary Learning):

   • 目标: 学习一个能有效稀疏表示所有信号的字典 $D$。
   • 优化问题: 采用K-SVD算法，优化以下目标：
     {D∗,C∗}=arg⁡min⁡D,C∥Y−DC∥F2s.t.∀i,∥ci∥0≤T0 \{D^*, C^*\} = \arg\min_{D, C} \|Y - DC\|_F^2 \quad \text{s.t.} \quad \forall i, \|c_i\|_0 \leq T_0 {D∗,C∗}=argD,Cmin​∥Y−DC∥F2​s.t.∀i,∥ci​∥0​≤T0​
     其中，$Y\in {\mathbb{R}}^{N\times L}$ 是信号矩阵，$C\in {\mathbb{R}}^{M\times L}$ 是稀疏系数矩阵，$c_i$ 是其第 $i$ 列，$T_0$ 是稀疏度约束。这是一个交替优化问题，先固定 $D$ 优化 $C$（稀疏编码），再固定 $C$ 优化 $D$（字典更新）。

2. 稀疏编码阶段 (Sparse Coding):

   • 目标: 为每个信号 $y_i$ 找到其在字典 $D$ 下的稀疏表示 $c_i$。
   • 优化问题: 通常采用OMP（Orthogonal Matching Pursuit）算法来近似求解以下 $l_0$ 范数最小化问题：
     $${\hat{c}}_i=\arg \underset{c}{\min }\Vert c{\Vert }_0\text{s.t.}\Vert y_i-Dc{\Vert }_2\le ϵ$$
     或者其等价形式：
     $${\hat{c}}_i=\arg \underset{c}{\min }\Vert y_i-Dc{\Vert }_2\text{s.t.}\Vert c{\Vert }_0\le T_0$$
     OMP通过贪心策略迭代地选择原子，是一个高效的近似求解器。

3. 二分图聚类阶段 (Bipartite Graph Clustering):

   • 目标: 最小化二分图的归一化割（Normalized Cut），以获得最优的图分割。
   • 优化问题: 对于一个图划分为两个子集 $V_1$ 和 $V_2$，归一化割定义为：
     $$\text{Ncut}(V_1,V_2)=\frac{\text{cut}(V_1,V_2)}{\text{weight}(V_1)}+\frac{\text{cut}(V_1,V_2)}{\text{weight}(V_2)}$$
     其中，$\text{cut}(V_1,V_2)={\sum }_{i\in V_1,j\in V_2}{W}_{ij}$ 是连接两个子集的边的权重和，$\text{weight}(V)={\sum }_{i\in V}{\sum }_k{W}_{ik}$ 是子集内部所有边的权重和。
   • 优化过程: 直接最小化Ncut是NP难问题。论文采用谱聚类的近似解法。具体来说，它利用了二分图拉普拉斯矩阵的特殊结构，将问题转化为对矩阵 $A=D_1^{-1/2}A{D}_2^{-1/2}$ 进行奇异值分解（SVD），其中 $D_1$ 和 $D_2$ 是度矩阵。通过求解SVD，得到用于聚类的低维嵌入，最后用K-means算法完成最终的聚类。这个SVD的复杂度是 $O(M^{2}L)$，由于 $M\ll L$，整体复杂度是线性的。

---

主要贡献点

1. 提出二分图建模新范式: 首次将稀疏表示系数矩阵 $C$ 映射为一个连接“原子”和“信号”的二分图，利用图分割来实现子空间聚类。这与传统方法（如SSC、LRR）直接在信号间构建图有本质不同。
2. 实现线性时间复杂度: 通过固定原子数量 $M$ 并利用高效的二分图谱聚类算法，将整体计算复杂度从多项式级别降低到关于信号数量 $L$ 的线性级别 $O(L)$，使其能够处理超大规模数据集（如百万级样本）。
3. 理论分析: 证明了在理想条件下（信号来自独立子空间，字典正确），即使使用冗余字典，OMP算法也能恢复出正确的稀疏支撑集，从而保证二分图聚类能得到正确的聚类结果。
4. 卓越的性能表现: 在人脸聚类和视频时序分割等多个任务上，其聚类精度与最先进的方法（SSC, LRR）相当，但计算速度有数量级的提升。

---

算法实现过程详解 (Algorithm 1: Subspace Biclustering, SBC)

算法的完整流程如下：

1. 输入: 数据矩阵 $Y\in {\mathbb{R}}^{N\times L}$, 聚类数 $K$, 字典原子数 $M$。

2. 字典学习 (Step 1):

   • 使用 K-SVD 算法 从数据 $Y$ 中学习一个字典 $D\in {\mathbb{R}}^{N\times M}$。K-SVD是一个迭代算法，交替进行稀疏编码和字典更新，直到收敛。

3. 稀疏编码 (Step 2):

   • 使用 OMP (Orthogonal Matching Pursuit) 算法，对数据矩阵 $Y$ 中的每一个信号 $y_i$ ($i=1,2,...,L$) 在字典 $D$ 下进行稀疏编码。
   • 得到稀疏系数矩阵 $C\in {\mathbb{R}}^{M\times L}$，其中每一列 $c_i$ 对应一个信号的稀疏表示。

4. 二分图聚类 (Step 3):

   • a. 构建亲和矩阵: 计算 $A=|C|$，即取稀疏系数矩阵 $C$ 中每个元素的绝对值。$A$ 将作为二分图的“原子-信号”关联矩阵。
   • b. 计算归一化矩阵的SVD: 构造矩阵 $\tilde{A}=D_1^{-1/2}A{D}_2^{-1/2}$。其中，$D_1\in {\mathbb{R}}^{M\times M}$ 是一个对角矩阵，其第 $i$ 个对角元素为 $D_1(i,i)={\sum }_{j=1}^{L}A(i,j)$，即第 $i$ 个原子连接的所有信号的权重和。$D_2\in {\mathbb{R}}^{L\times L}$ 也是一个对角矩阵，其第 $j$ 个对角元素为 $D_2(j,j)={\sum }_{i=1}^{M}A(i,j)$，即第 $j$ 个信号连接的所有原子的权重和。
   • 对 $\tilde{A}$ 进行奇异值分解（SVD）: $\tilde{A}=U\Sigma V^T$。
   • c. 构建嵌入矩阵 $Z$: 取 $U$ 和 $V$ 的第2列到第K列（对应第二到第K大的奇异值），构成矩阵：
     $$Z=\left[\begin{array}{c}{D}_1^{-1/2}{U}_{[:,2:K]}\\ D_2^{-1/2}{V}_{[:,2:K]}\end{array}\right]$$
     矩阵 $Z$ 的维度是 $(M+L)\times (K-1)$。它的前 $M$ 行对应 $M$ 个原子的嵌入，后 $L$ 行对应 $L$ 个信号的嵌入。
   • d. K-means聚类: 对矩阵 $Z$ 的所有 $(M+L)$ 行（即所有原子和信号的嵌入向量）应用 K-means 算法，聚成 $K$ 类。

5. 输出: 从K-means的结果中，提取后 $L$ 行（即信号部分）的聚类标签 $\hat{k}(y_j),j=\mathrm{1..}L$，作为最终的子空间聚类结果。

通过这个流程，算法巧妙地利用字典作为“中介”，将大规模信号的聚类问题转化为小规模原子与信号的联合聚类问题，从而实现了线性时间复杂度。