TNNLS-2020《Autoencoder Constrained Clustering With Adaptive Neighbors》

---

核心思想分析

该论文提出了一种名为ACC_AN（Autoencoder Constrained Clustering with Adaptive Neighbors）的深度聚类方法，旨在解决传统子空间聚类方法在处理非线性数据分布和高维数据时的局限性。核心思想是将深度自编码器（Autoencoder）与自适应的图结构学习相结合，通过同时优化数据的低维表示和图结构的相似性矩阵，实现高效的聚类。其主要创新点包括：

1. 深度自编码器与图学习的联合优化：通过将自适应的图学习嵌入到深度自编码器网络中，ACC_AN能够同时捕获数据的全局结构（通过最小化重构误差）和局部结构（通过自适应相似性矩阵）。
2. 无参数相似性度量：提出了一种基于自适应邻居的无参数相似性度量方法，避免了传统核函数方法对核函数选择的敏感性。
3. 迭代优化：通过在反向传播过程中迭代更新潜在表示和图结构，增强了深度特征与聚类过程的相关性。

该方法克服了传统子空间聚类方法（如k-means、谱聚类）对线性结构的依赖，以及核方法对参数选择的敏感性，同时结合了深度学习的非线性表示能力，适用于复杂的高维数据聚类任务。

---

目标函数分析

论文的目标函数旨在联合优化自编码器的重构误差、图结构的相似性以及网络参数的正则化。目标函数由三部分组成，形式如下：

$$\mathcal{J}={\mathcal{J}}_1+{\lambda }_1{\mathcal{J}}_2+{\lambda }_2{\mathcal{J}}_3$$

其中，具体定义为：

1. 重构误差项（${\mathcal{J}}_1$）：
   $${\mathcal{J}}_1=\frac{1}{2}\sum _{i=1}^n{\Vert x_i-h_i^{(M)}\Vert }_2^2$$
   这一项最小化输入数据$x_i$与自编码器输出$h_i^{(M)}$之间的重构误差，确保网络能够保留数据的全局结构。

2. 图结构相似性项（${\mathcal{J}}_2$）：
   $${\mathcal{J}}_2=\frac{1}{2}\sum _{i,j=1}^n\left(s_{ij}{\Vert h_i^{\left(\frac{M}{2}\right)}-h_j^{\left(\frac{M}{2}\right)}\Vert }_2^2+{\gamma }_i{s}_{ij}^2\right)$$
   这一项通过自适应相似性矩阵$S$（其中$s_{ij}$表示数据点$i$和$j$之间的相似性）来捕获数据在中间层表示$h_i^{\left(\frac{M}{2}\right)}$的局部结构。${\gamma }_i$是权衡参数，控制相似性矩阵的稀疏性。

3. 正则化项（${\mathcal{J}}_3$）：
   $${\mathcal{J}}_3=\frac{1}{2}\sum _{m=1}^M\left({\Vert W^{(m)}\Vert }_F^2+{\Vert p^{(m)}\Vert }_2^2\right)$$
   这一项对网络权重$W^{(m)}$和偏置$p^{(m)}$施加Frobenius范数和L2范数正则化，防止过拟合并避免平凡解。

目标函数通过权衡参数${\lambda }_1$和${\lambda }_2$平衡三部分的贡献，综合考虑数据的重构质量、局部结构的保持以及模型的稳定性。

---

目标函数的优化过程

目标函数的优化采用**随机子梯度下降（SGD）**算法，通过反向传播迭代更新网络参数和相似性矩阵$S$。优化过程分为以下步骤：

1. 前向传播：
   自编码器网络包含$M+1$层，其中前$M/2$层为编码器，后$M/2$层为解码器。前向传播过程定义为：
   $$\{\begin{array}{l}{H}^{(0)}=X\\ Z^{(m+1)}=W^{(m)}\cdot H^{(m)}+p^{(m)},\text{for }m=0,1,\dots ,M-1\\ H^{(m)}=f(Z^{(m)})\end{array}$$
   其中，$H^{(m)}$是第$m$层的输出，$f(\cdot )$是激活函数（使用$\tanh$函数，$f(z)=\frac{1-e^{-2z}}{1+e^{-2z}}$）。

2. 相似性矩阵$S$的计算：
   相似性矩阵$S$基于中间层表示$H^{\left(\frac{M}{2}\right)}$，通过优化以下问题计算：
   $$\underset{s_i^{T}1=1,0\le s_i\le 1}{\min }\sum _{i=1}^n\frac{1}{2}{\Vert s_i+\frac{d_i}{2{\gamma }_i}\Vert }_2^2$$
   其中，$d_{ij}={\Vert h_i^{\left(\frac{M}{2}\right)}-h_j^{\left(\frac{M}{2}\right)}\Vert }_2^2$，${\gamma }_i$是权衡参数。闭合解为：
   $$s_{ij}={\left(\frac{q_{i(k+1)}-q_{ij}}{k{q}_{i(k+1)}-{\sum }_{j=1}^k{q}_{ij}}\right)}_{+}$$
   其中，$q_{ij}={\Vert h_i^{\left(\frac{M}{2}\right)}-h_j^{\left(\frac{M}{2}\right)}\Vert }_2^2$，$k$是邻居数量，${(}_{+})$表示$\max (\cdot ,0)$。

3. 反向传播与参数更新：
   通过计算目标函数对权重$W^{(m)}$和偏置$p^{(m)}$的子梯度，更新网络参数。子梯度计算公式为：
   $$\{\begin{array}{l}\frac{\partial \mathcal{J}}{\partial p^{(m)}}={\Sigma }^{(m)}+{\lambda }_1{\Theta }^{(m)}+{\lambda }_2{p}^{(m)}\\ \frac{\partial \mathcal{J}}{\partial W^{(m)}}=\left({\Sigma }^{(m)}+{\lambda }_1{\Theta }^{(m)}\right){\left(h_i^{(m-1)}\right)}^T+{\lambda }_2{W}^{(m)}\end{array}$$
   其中，${\Sigma }^{(m)}=\frac{\partial {\mathcal{J}}_1}{\partial z^{(m)}}$和${\Theta }^{(m)}=\frac{\partial {\mathcal{J}}_2}{\partial z^{(m)}}$通过链式法则计算。参数更新规则为：
   $$\{\begin{array}{l}{p}^{(m)}=p^{(m)}-\mu \frac{\partial \mathcal{J}}{\partial p^{(m)}}\\ W^{(m)}=W^{(m)}-\mu \frac{\partial \mathcal{J}}{\partial W^{(m)}}\end{array}$$
   其中，$\mu$是学习率。

4. 迭代优化：
   重复前向传播、相似性矩阵计算和反向传播步骤，直到目标函数收敛。最终，使用中间层表示$H^{\left(\frac{M}{2}\right)}$进行k-means聚类，得到最终的聚类结果。

---

主要的贡献点

1. 自适应图学习的嵌入：
   首次将自适应邻居的图学习嵌入到深度自编码器网络中，通过反向传播过程同时更新潜在表示和图结构，增强了聚类的鲁棒性和准确性。

2. 无参数相似性度量：
   提出了一种基于$k$近邻的无参数相似性度量方法，避免了传统核函数方法对参数选择的依赖，实现了可控稀疏性的相似性矩阵构造。

3. 联合优化框架：
   通过联合优化重构误差和图结构相似性，ACC_AN能够同时捕获数据的全局和局部结构，适用于高维非线性数据的聚类任务。

4. 高效的优化算法：
   提供了基于SGD的优化算法，通过闭合解计算相似性矩阵，降低了计算复杂度，并保证了收敛性。

---

实验结果分析

实验在六个基准数据集（COIL20、YaleB、CIFAR10、MNIST、Fashion-MNIST）上进行，比较了ACC_AN与15种聚类方法（包括SSC、LRR、KSSC、KLRR、PARTY等）的性能。评估指标包括准确率（ACC）、归一化互信息（NMI）、调整兰德指数（ARI）、精确率（Precision）和F分数（Fscore）。

1. COIL20数据集：

   • 使用SDSIFT特征时，ACC_AN的性能为：ACC=91.65%，NMI=94.80%，ARI=89.72%，Precision=86.60%，Fscore=89.47%。
   • 使用LPQ特征时，性能稍低，但仍优于其他方法（如PARTY：ACC=90.88%，NMI=94.12%）。

2. YaleB数据集：

   • SDSIFT特征下，ACC_AN的性能优于LPQ特征，且在所有指标上均优于其他方法。

3. CIFAR10和MNIST数据集：

   • LPQ特征下，ACC_AN的性能优于SDSIFT特征。例如，在MNIST数据集上，ACC_AN的性能为：ACC=78.69%，NMI=74.21%，ARI=67.51%，显著优于PARTY（ACC=65.69%，NMI=68.89%）。

4. Fashion-MNIST数据集：

   • ACC_AN在NMI、ARI和Fscore上表现最佳，仅在Precision上略逊于其他方法。

5. 计算效率：

   • ACC_AN的运行时间低于PARTY，表明其收敛速度更快，计算效率更高。

总结：ACC_AN在所有数据集和大多数指标上均表现出色，特别是在NMI和ARI上，证明了其在深度聚类任务中的优越性。实验结果还表明，不同数据集对特征类型（SDSIFT或LPQ）的敏感性不同，但ACC_AN的鲁棒性使其在多种场景下均能保持高性能。

---

算法实现过程详细解释

以下是ACC_AN算法的详细实现过程，结合论文中的伪代码（Algorithm 1）进行说明：

输入

• 数据矩阵：$X\in {\mathbb{R}}^{d\times n}$，其中$d$是特征维度，$n$是数据点数量。
• 参数：${\lambda }_1$（权衡图结构项）、${\lambda }_2$（权衡正则化项）、$k$（邻居数量）。

初始化

1. 网络参数初始化：

   • 初始化自编码器网络的权重$W^{(m)}$和偏置$p^{(m)}$，$m=1,2,\dots ,M$。
   • 使用预训练的自编码器参数（通过最小化重构误差训练）初始化编码器和解码器层。
   • 设置初始输入$H^{(0)}=X$。

2. 网络结构：

   • 网络包含$M+1$层，前$M/2$层为编码器，后$M/2$层为解码器。
   • 激活函数使用$\tanh$，定义为$f(z)=\frac{1-e^{-2z}}{1+e^{-2z}}$，其导数为$f^{\prime }(z)=1-{\tanh }^2(z)$。

优化过程

1. 前向传播：

   • 对于每一层$m=1,2,\dots ,M$，计算：
     $$Z^{(m+1)}=W^{(m)}\cdot H^{(m)}+p^{(m)}$$
     $$H^{(m)}=f(Z^{(m)})$$
   • 得到中间层表示$H^{\left(\frac{M}{2}\right)}$和最终输出$H^{(M)}$。

2. 计算初始相似性矩阵$S$：

   • 基于中间层表示$H^{\left(\frac{M}{2}\right)}$，计算距离$q_{ij}={\Vert h_i^{\left(\frac{M}{2}\right)}-h_j^{\left(\frac{M}{2}\right)}\Vert }_2^2$。
   • 对每个数据点$i$，按距离排序$q_{i1}\le q_{i2}\le \cdots \le q_{in}$。
   • 计算${\gamma }_i$的上界：
     $${\gamma }_i=\frac{k}{2}{q}_{i(k+1)}-\frac{1}{2}\sum _{j=1}^k{q}_{ij}$$
   • 计算相似性$s_{ij}$：
     $$s_{ij}={\left(\frac{q_{i(k+1)}-q_{ij}}{k{q}_{i(k+1)}-{\sum }_{j=1}^k{q}_{ij}}\right)}_{+}$$
   • 构造相似性矩阵$S=[s_{ij}{]}_{n\times n}$。

3. 迭代优化：

   • 循环直到收敛：
     • 对于每个数据点$i=1,2,\dots ,n$：
       1. 前向传播：
          • 计算每一层的输出$h_i^{(m)}$，从$h_i^{(0)}=x_i$开始：
            $$h_i^{(m)}=f(W^{(m)}{h}_i^{(m-1)}+p^{(m)})$$
       2. 反向传播：
          • 从$m=M$到$m=1$，计算子梯度${\Sigma }^{(m)}$和${\Theta }^{(m)}$：
            • 对于${\mathcal{J}}_1$：
              $${\Sigma }^{(m)}=\{\begin{array}{ll}-(x_i-h_i^{(M)})\odot f^{\prime }(z_i^{(M)}),& m=M\\ (W^{(m+1)}{)}^T{\Sigma }^{(m+1)}\odot f^{\prime }(z_i^{(m)}),& \text{otherwise}\end{array}$$
            • 对于${\mathcal{J}}_2$：
              $${\Theta }^{(m)}=\{\begin{array}{ll}(W^{(m+1)}{)}^T{\Theta }^{(m+1)}\odot f^{\prime }(z_i^{(m)}),& m=1,\dots ,\frac{M-2}{2}\\ {\sum }_{j=1}^n{s}_{ij}(h_i^{\left(\frac{M}{2}\right)}-h_j^{\left(\frac{M}{2}\right)})\odot f^{\prime }(z_i^{\left(\frac{M}{2}\right)}),& m=\frac{M}{2}\\ 0,& m=\frac{M+2}{2},\dots ,M\end{array}$$
       3. 更新参数：
          • 计算总子梯度：
            $$\frac{\partial \mathcal{J}}{\partial p^{(m)}}={\Sigma }^{(m)}+{\lambda }_1{\Theta }^{(m)}+{\lambda }_2{p}^{(m)}$$
            $$\frac{\partial \mathcal{J}}{\partial W^{(m)}}=\left({\Sigma }^{(m)}+{\lambda }_1{\Theta }^{(m)}\right)(h_i^{(m-1)}{)}^T+{\lambda }_2{W}^{(m)}$$
          • 更新权重和偏置：
            $$p^{(m)}=p^{(m)}-\mu \frac{\partial \mathcal{J}}{\partial p^{(m)}}$$
            $$W^{(m)}=W^{(m)}-\mu \frac{\partial \mathcal{J}}{\partial W^{(m)}}$$
     • 更新相似性矩阵$S$：
       • 使用最新的$H^{\left(\frac{M}{2}\right)}$，重新计算$q_{ij}$和$s_{ij}$，更新$S$。

4. 聚类：

   • 使用最终的中间层表示$H^{\left(\frac{M}{2}\right)}$，应用k-means算法进行聚类，得到聚类结果。

输出

• 网络参数： { p ( m ) , W ( m ) } m = 1 M \{p^{(m)}, W^{(m)}\}_{m=1}^M {p(m),W(m)}m=1M​。
• 聚类结果：基于$H^{\left(\frac{M}{2}\right)}$的聚类标签。

---

总结

ACC_AN通过将自适应图学习嵌入深度自编码器，提出了一种高效的深度聚类方法。其目标函数综合考虑了重构误差、图结构相似性和正则化，通过SGD优化实现了联合学习。实验结果表明，ACC_AN在多个基准数据集上均优于现有方法，特别是在NMI和ARI指标上表现突出。算法实现过程清晰，通过前向传播、相似性矩阵计算和反向传播的迭代优化，保证了高效性和收敛性。该方法在高维非线性数据聚类任务中具有广泛的应用潜力。