TNNLS-2025《Metric Learning-Based Subspace Clustering》

2. 核心思想 (Core Idea)

这篇论文的核心思想是将度量学习（Metric Learning）与子空间聚类（Subspace Clustering）深度融合，以解决现有自表达式（Self-expressive）子空间聚类方法的根本性缺陷。

具体来说，作者指出了一个关键问题：

1. 现有方法的矛盾：主流的子空间聚类方法（如SSC, LRR）依赖于“线性化假设”（linearization assumption），即用数据集 $X$ 中的其他样本线性组合来表示一个样本 $x_i\approx X{f}_i$。
2. 现实数据的复杂性：真实世界的数据通常存在于一个复杂的非线性流形（nonlinear manifold）上，而不是一个简单的线性空间。
3. 核心矛盾：直接在原始非线性数据上应用线性表示，其系数 $f_{ij}$ 只能近似地反映样本间的线性相似性，无法精确刻画。这导致学习到的相似度矩阵 $F$ 不够理想，影响了最终的聚类效果。

为了解决这个“在非线性流形上强行进行线性表示”的矛盾，作者提出了**度量学习-子空间聚类（Metric Learning-based Subspace Clustering, MLSC）**框架。其核心思想是：

“先投影，后表示”：

1. 第一步（投影）：设计一个可学习的、感知线性的距离度量（Linearity-aware Distance）。这个度量能将原始的非线性流形上的数据，有效地投影到一个更适合进行线性操作的“线性流形空间”上。
2. 第二步（表示）：在这个被“线性化”了的新空间里，再应用自表达式策略。此时，线性化假设与数据的实际结构更加匹配，因此能够学习到更精确、更理想的相似度矩阵。

简而言之，MLSC通过度量学习“为自表达式创造一个理想的线性环境”，从而建立起度量学习与自表达式之间的“本质联系”。

---

3. 目标函数 (Objective Function)

论文提出的MLSC模型的目标函数如下：

$$\underset{P,G,F}{\min }\sum _{i=1}^n\sum _{j=1}^n{\text{Dist}}_P^2(x_i,x_j)g_{ij}+\alpha \Vert G{\Vert }_F^2+\beta \Vert F{\Vert }_F^2$$
$$\text{s.t. }G=GF,g_i^{\top }1=1,0\le g_{ij}\le 1$$

目标函数解析：

• ${\text{Dist}}_P(x_i,x_j)$：这是论文提出的核心——感知线性距离（Linearity-aware Distance）。它被定义为：
  $${\text{Dist}}_P(x,y)={\left[1-\frac{(x-\hat{x}{)}^{\top }{P}^{\top }P(y-\hat{y})}{\Vert P(x-\hat{x}){\Vert }_2\Vert P(y-\hat{y}){\Vert }_2}\right]}^{1/2}$$
  其中 $P\in {\mathbb{R}}^{h\times d}$ 是一个可学习的投影矩阵，$\hat{x}$ 和 $\hat{y}$ 是样本的均值。这个距离本质上是投影后数据的余弦距离的变体，但它被设计成一个真正的度量（满足非负性、对称性、三角不等式），并且其值能准确反映线性相关程度（定理2证明了当距离为0时，两样本完全正相关；为$\sqrt{2}$时，完全负相关）。
• $g_{ij}$：这是自适应邻域学习（Adaptive Neighbors Learning）中的邻接图权重，表示样本 $i$ 和 $j$ 之间的相似度。
• 第一项 ${\sum }_{i,j}{\text{Dist}}_P^2(x_i,x_j)g_{ij}$：这是度量学习与图学习的结合。它要求在感知线性距离小的样本对（即线性相关性强的样本）之间，其图权重 $g_{ij}$ 应该大。这相当于用“线性相似性”来指导图 $G$ 的构建。
• 第二项 $\alpha \Vert G{\Vert }_F^2$：对图 $G$ 进行Frobenius范数正则化，鼓励图结构的平滑性。
• 第三项 $\beta \Vert F{\Vert }_F^2$：对自表达式系数矩阵 $F$ 进行Frobenius范数正则化（回归正则化），避免平凡解。
• 约束 $G=GF$：这是自表达式约束。它表明图 $G$ 的每一行 $g_i$ 可以由系数矩阵 $F$ 线性表示，这正是子空间聚类的核心思想。
• 约束 $g_i^{\top }1=1,0\le g_{ij}\le 1$：保证图 $G$ 是一个有效的相似度图（行和为1，权重在0-1之间）。

---

4. 目标函数的详细优化过程

由于目标函数包含三个变量 $P,G,F$，且问题非凸，作者采用交替方向乘子法（ADMM进行优化。首先，为了处理约束 $G=GF$，引入一个辅助变量 $H$，将原问题转化为：

$$\underset{P,G,H,F}{\min }\sum _{i=1}^n\sum _{j=1}^n{\text{Dist}}_P^2(x_i,x_j)g_{ij}+\alpha \Vert H{\Vert }_F^2+\beta \Vert F{\Vert }_F^2$$
$$\text{s.t. }H=HF,G=H,g_i^{\top }1=1,0\le g_{ij}\le 1$$

对应的增广拉格朗日函数为：

$$\mathcal{L}(P,G,H,F)=\sum _{i,j}{\text{Dist}}_P^2(x_i,x_j)g_{ij}+\alpha \Vert H{\Vert }_F^2+\beta \Vert F{\Vert }_F^2+\frac{\mu }{2}\left(\Vert H-HF+\frac{1}{\mu }{W}^{(1)}{\Vert }_F^2+\Vert G-H+\frac{1}{\mu }{W}^{(2)}{\Vert }_F^2\right)$$

其中 $W^{(1)}$ 和 $W^{(2)}$ 是拉格朗日乘子，$\mu$ 是惩罚参数。

优化过程按以下步骤交替进行：

1. 更新 $P$：固定 $G,H,F$，优化 $P$。

   • 问题简化为：${\min }_P{\sum }_{i,j}{\text{Dist}}_P^2(x_i,x_j)g_{ij}$。
   • 由于该函数关于 $P$ 不是凸的，作者采用梯度下降法进行优化。
   • 更新公式为：$P\leftarrow P-\eta \frac{\partial \mathcal{L}(P)}{\partial P}$，其中 $\eta$ 是学习率。

2. 更新 $F$：固定 $P,G,H$，优化 $F$。

   • 问题简化为：${\min }_F\Vert (H+\frac{1}{\mu }{W}^{(1)})-HF{\Vert }_F^2+\frac{2\beta }{\mu }\Vert F{\Vert }_F^2$。
   • 这是一个标准的岭回归（Ridge Regression问题。
   • 存在闭式解（Closed-form Solution）：
     $$F^{\star }=\frac{1}{2\beta }(I+\mu H^{\top }H{)}^{-1}(\mu H^{\top }H+H^{\top }{W}^{(1)})$$

3. 更新 $H$：固定 $P,G,F$，优化 $H$。

   • 问题是一个关于 $H$ 的凸优化问题。
   • 通过对拉格朗日函数求导并令导数为0，可以得到其闭式解：
     $$H^{\star }=(W^{(1)}-W^{(1)}{F}^{\top }-\mu G-W^{(2)})(\mu F+F^{\top }+F{F}^{\top }-2(\alpha +\mu )I{)}^{-1}$$

4. 更新 $G$：固定 $P,H,F$，优化 $G$。

   • 问题为：
     $$\underset{G}{\min }\sum _{i,j}{\text{Dist}}_P^2(x_i,x_j)g_{ij}+\frac{\mu }{2}\Vert G-H+\frac{1}{\mu }{W}^{(2)}{\Vert }_F^2\text{s.t. }{g}_i^{\top }1=1,0\le g_{ij}\le 1$$
   • 该问题可以分解为 $n$ 个独立的子问题。对每个样本 $i$，求解：
     $$\underset{g_i}{\min }\Vert g_i+\frac{1}{\mu }{k}_i{\Vert }_2^2\text{s.t. }{g}_i^{\top }1=1,0\le g_{ij}\le 1$$
     其中 $k_i$ 是一个与 ${\text{Dist}}_P^2$ 和 $W^{(2)}$ 相关的向量。
   • 这是一个典型的带单纯形约束的投影问题。作者采用拉格朗日乘子法求解，最终解的形式为：
     $$g_{ij}^{\star }=\max ({\tilde{k}}_{ij}-z^{\star },0)$$
     其中 $z^{\star }$ 是通过求解一个一维的凸函数 $\varphi (z)=0$ 来确定的，这里使用了牛顿法。

5. 更新乘子和惩罚参数：

   • 更新拉格朗日乘子：
     $$\{\begin{array}{l}{W}^{(1)}\leftarrow W^{(1)}+\mu (H-HF)\\ W^{(2)}\leftarrow W^{(2)}+\mu (G-H)\end{array}$$
   • 更新惩罚参数 $\mu$（通常以一定比率增加，如 $\mu \leftarrow \min (\nu \mu ,{\mu }_{\max })$）。

该过程不断迭代，直到收敛。

---

5. 主要贡献点 (Main Contributions)

论文在摘要和引言中明确指出了四大贡献：

1. 提出了可学习的感知线性距离（Linearity-aware Distance）：

   • 该距离不仅能准确衡量样本间的线性相关程度（理论证明），而且是一个真正的可学习的度量（满足度量的所有性质，尤其是三角不等式），这弥补了传统皮尔逊相关系数作为距离度量的不足。

2. 提出了首个将度量学习融入子空间聚类的框架（MLSC）：

   • 这是该研究最核心的创新。MLSC通过度量学习将数据投影到线性流形空间，从而完美契合了自表达式的线性化假设，建立了两者间的本质联系。

3. 设计了一个实用的集成框架：

   • 该框架统一了度量学习（学习 $P$）、图学习（学习 $G$）和子空间聚类（学习 $F$），三者协同工作，信息共享，共同优化。

4. 在多个基准数据集上取得了优越的性能：

   • 实验结果表明，MLSC在聚类准确率（ACC）和归一化互信息（NMI）上均优于现有的度量学习型和谱聚类型子空间聚类方法。

---

6. 算法实现过程详解

根据论文的Algorithm 1，MLSC的完整实现过程如下：

1. 输入与初始化：

   • 输入：数据集 $X\in {\mathbb{R}}^{d\times n}$，聚类数 $k$，超参数 $\alpha ,\beta$。
   • 初始化：将 $G,H,F,W^{(1)},W^{(2)}$ 初始化为零矩阵。随机初始化投影矩阵 $P$。设置学习率 $\eta$、惩罚参数 $\mu$ 及其最大值 ${\mu }_{\max }$、收敛阈值 $ϵ$ 等。

2. 迭代优化循环：

   • 更新 $P$：使用梯度下降法，根据公式 $P\leftarrow P-\eta \frac{\partial \mathcal{L}}{\partial P}$ 更新投影矩阵 $P$。这一步让模型学习如何将原始数据映射到一个线性关系更明显的空间。
   • 更新 $F$：使用闭式解公式计算新的自表达式系数矩阵 $F$。这一步基于当前的图 $H$ 来更新表示系数。
   • 更新 $H$：使用闭式解公式计算新的辅助变量 $H$。这一步综合了正则化、自表达式约束和与 $G$ 的一致性约束。
   • 更新 $G$：对于每个样本 $i$，计算向量 $k_i$，然后通过求解 $\varphi (z)=0$ 得到 $z^{\star }$，最后根据 $g_{ij}^{\star }=\max ({\tilde{k}}_{ij}-z^{\star },0)$ 更新图 $G$ 的第 $i$ 行。这一步用感知线性距离来“雕刻”相似度图。
   • 更新乘子和参数：根据ADMM规则更新拉格朗日乘子 $W^{(1)},W^{(2)}$ 和惩罚参数 $\mu$。
   • 检查收敛：计算 $\Vert H-HF{\Vert }_F^2$ 和 $\Vert G-H{\Vert }_F^2$，如果两者都小于阈值 $ϵ$，则停止迭代。

3. 输出聚类结果：

   • 当算法收敛后，得到最终的最优表示矩阵 $F^{\star }$。
   • 构建亲和度矩阵（Affinity Matrix）：$S=\frac{1}{2}(|F^{\star }|+|F^{\star }{|}^{\top })$，这确保了矩阵的对称性。
   • 在亲和度矩阵 $S$ 上应用谱聚类（Spectral Clustering算法，将其划分为 $k$ 个簇，最终得到聚类标签。

整个算法流程清晰地体现了“通过度量学习构建理想线性环境，再在此环境下进行自表达式学习”的设计哲学。

---

这个公式是论文中提出的感知线性距离（Linearity-aware Distance），它是一个核心的创新点。我们来详细解析其含义。

该公式的目的是：衡量两个数据样本 $x$ 和 $y$ 之间的“线性相关性”程度，并将其转化为一个符合度量标准的距离值。

让我们分解这个公式：

$${\text{Dist}}_P(x,y)={\left[1-\frac{(x-\hat{x}{)}^{\top }{P}^{\top }P(y-\hat{y})}{\Vert P(x-\hat{x}){\Vert }_2\Vert P(y-\hat{y}){\Vert }_2}\right]}^{1/2}$$

1. 核心思想：基于皮尔逊相关系数的变形

这个公式的核心灵感来源于皮尔逊相关系数（Pearson Correlation Coefficient）。皮尔逊相关系数衡量的是两个变量之间线性关系的强度和方向，其值域为 [-1, 1]。

• 完全正相关 (Perfect Positive Correlation): 值为 +1。
• 无相关性 (No Correlation): 值为 0。
• 完全负相关 (Perfect Negative Correlation): 值为 -1。

然而，皮尔逊相关系数本身不是一个距离度量，因为它不满足三角不等式。而本论文的目标是设计一个能准确反映线性相关性的可学习度量（Learnable Metric）。因此，作者对皮尔逊相关系数进行了改造。

2. 公式各部分的含义

• $x,y$: 这是两个原始的数据样本（向量）。
• $\hat{x},\hat{y}$: 这是样本 $x$ 和 $y$ 的均值。具体定义为 $\hat{x}=\frac{1}{d}{\sum }_{i=1}^d{x}_i$ 和 $\hat{y}=\frac{1}{d}{\sum }_{i=1}^d{y}_i$。减去均值是为了消除数据的平移影响，只关注它们的相对变化趋势。
• $(x-\hat{x}),(y-\hat{y})$: 这是样本 $x$ 和 $y$ 的中心化向量。它们代表了数据在去除整体水平后的波动部分。
• $P\in {\mathbb{R}}^{h\times d}$: 这是一个可学习的投影矩阵。这是整个方法的关键。它将原始的 $d$ 维数据投影到一个新的 $h$ 维潜在空间（latent space）中。通过学习 $P$，模型可以自动发现一个更适合进行线性分析的空间。
• $P(x-\hat{x}),P(y-\hat{y})$: 这是经过投影矩阵 $P$ 变换后的中心化向量。这一步是将原始数据映射到一个“线性化”的新空间。
• 分子 $(x-\hat{x}{)}^{\top }{P}^{\top }P(y-\hat{y})$: 这是投影后向量的内积。它衡量了两个向量在投影空间中的相似性（或说共线性）。如果这个值很大，说明两个向量在新空间中方向一致。
• 分母 $\Vert P(x-\hat{x}){\Vert }_2\Vert P(y-\hat{y}){\Vert }_2$: 这是两个投影后向量的模长（L2范数）的乘积。它用于归一化内积，使其成为一个范围在 [-1, 1] 之间的余弦相似度。
• 分数部分 $\frac{(x-\hat{x}{)}^{\top }{P}^{\top }P(y-\hat{y})}{\Vert P(x-\hat{x}){\Vert }_2\Vert P(y-\hat{y}){\Vert }_2}$: 这就是投影空间中的余弦相似度。它的值越接近 1，表示两个样本在新空间中越相似（正相关）；越接近 -1，表示越相反（负相关）；越接近 0，表示越不相关。

3. 距离的构建

最后，公式用 1 减去这个相似度，再取平方根：

• 当两个样本在投影空间中完全正相关时，相似度为 1，那么 1-1=0，所以距离为 0。
• 当两个样本在投影空间中完全负相关时，相似度为 -1，那么 1-(-1)=2，所以距离为 $\sqrt{2}$。
• 当两个样本在投影空间中完全不相关时，相似度为 0，那么 1-0=1，所以距离为 1。

4. 总结：公式的物理意义

综合来看，这个公式 Dist_P(x, y) 的含义是：

在通过可学习的投影矩阵 $P$ 将数据转换到一个潜在的线性流形空间后，计算样本 $x$ 和 $y$ 在这个新空间中的“线性距离”。这个距离的大小直接反映了它们在新空间中的线性相关性：距离越小，线性相关性越强（包括同向或反向）；距离越大，线性相关性越弱。

这个设计巧妙地解决了传统自表达式方法在非线性数据上强行进行线性表示的问题。它首先通过度量学习（学习 $P$）将数据“线性化”，然后再在这个理想的线性空间里进行自表达式学习，从而建立起度量学习与自表达式策略的内在联系。