TNNLS-2022《Fast Incomplete Multi-view Clustering with View-independent Anchors》

---

一、核心思想

该论文旨在解决大规模不完整多视图聚类（Incomplete Multi-view Clustering, IMC）问题。传统IMC方法在处理大规模数据时面临时间和空间复杂度高（通常为 $O(n^2)$ 或更高）的问题，而现有的一些快速IMC方法（如 IMVC-CBG）采用所有视图共享同一组锚点（anchors）的策略，忽略了各视图特有的几何结构和互补信息。

为此，FIMVC-VIA 提出：

• 为每个视图独立学习锚点（view-independent anchors），以保留视图特异性；
• 构建一个统一的锚图（consensus anchor graph），以保证跨视图的一致性；
• 通过锚图替代全连接相似图，将复杂度降至线性于样本数 $n$。

---

二、目标函数

设共有 $v$ 个视图，第 $p$ 个视图的原始数据为 ${\mathbf{X}}_p\in {\mathbb{R}}^{d_p\times n}$，其中部分样本缺失。引入指示矩阵 Hp∈{0,1}n×np\mathbf{H}_p \in \{0,1\}^{n \times n_p}Hp​∈{0,1}n×np​ 标记第 $p$ 视图中实际存在的 $n_p$ 个样本（$n_p\le n$），则有效数据为 ${\mathbf{X}}_p{\mathbf{H}}_p$。

FIMVC-VIA 的目标函数如下：

min⁡γ,{Bp}p=1v,Z∑p=1vγp2∥XpHp−BpZHp∥F2+μ∥Z∥F2 \min_{\boldsymbol{\gamma}, \{\mathbf{B}_p\}_{p=1}^v, \mathbf{Z}} \sum_{p=1}^v \gamma_p^2 \left\| \mathbf{X}_p \mathbf{H}_p - \mathbf{B}_p \mathbf{Z} \mathbf{H}_p \right\|_F^2 + \mu \|\mathbf{Z}\|_F^2 γ,{Bp​}p=1v​,Zmin​p=1∑v​γp2​∥Xp​Hp​−Bp​ZHp​∥F2​+μ∥Z∥F2​

约束条件：

• ${\mathbf{\gamma }}^{\top }1=1,\mathbf{\gamma }\ge 0$（视图权重归一化且非负）；
• ${\mathbf{B}}_p^{\top }{\mathbf{B}}_p={\mathbf{I}}_m$（锚矩阵正交，增强判别性）；
• $\mathbf{Z}\ge 0,{\mathbf{Z}}^{\top }1=1$（锚图为行随机非负矩阵）。

其中：

• ${\mathbf{B}}_p\in {\mathbb{R}}^{d_p\times m}$：第 $p$ 视图的独立锚点矩阵（$m\ll n$）；
• $\mathbf{Z}\in {\mathbb{R}}^{m\times n}$：统一锚图，表示每个样本对 $m$ 个锚点的归属；
• ${\gamma }_p$：第 $p$ 视图的自适应权重；
• $\mu >0$：正则化参数，控制锚图稀疏性。

---

三、目标函数的详细优化过程

采用交替优化（Alternating Optimization）策略，分三步迭代更新：

1. 固定 $\mathbf{\gamma },\mathbf{Z}$，优化 {Bp}\{\mathbf{B}_p\}{Bp​}

对每个视图 $p$，子问题为：

$$\underset{{\mathbf{B}}_p}{\min }{\Vert {\mathbf{X}}_p{\mathbf{H}}_p-{\mathbf{B}}_p\mathbf{Z}{\mathbf{H}}_p\Vert }_F^2\text{s.t.}{\mathbf{B}}_p^{\top }{\mathbf{B}}_p={\mathbf{I}}_m$$

利用恒等式 ${\mathbf{X}}_p{\mathbf{H}}_p{\mathbf{H}}_p^{\top }={\mathbf{X}}_p\otimes {\mathbf{A}}_p$（其中 ${\mathbf{A}}_p=\text{diag}({\mathbf{h}}_p)$，${\mathbf{h}}_p$ 为存在性向量），可转化为：

$$\underset{{\mathbf{B}}_p}{\max }\text{Tr}\left({\mathbf{B}}_p^{\top }({\mathbf{X}}_p\otimes {\mathbf{A}}_p){\mathbf{Z}}^{\top }\right)$$

令 ${\mathbf{\Lambda }}_p=({\mathbf{X}}_p\otimes {\mathbf{A}}_p){\mathbf{Z}}^{\top }$，对其做 SVD：${\mathbf{\Lambda }}_p=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }$，则最优解为：

$${\mathbf{B}}_p^{\ast }={\mathbf{U}}_m{\mathbf{V}}_m^{\top }$$

其中 ${\mathbf{U}}_m,{\mathbf{V}}_m$ 为前 $m$ 个奇异向量。

---

2. 固定 {Bp},γ\{\mathbf{B}_p\}, \boldsymbol{\gamma}{Bp​},γ，优化 $\mathbf{Z}$

目标函数关于 $\mathbf{Z}$ 为：

$$\underset{\mathbf{Z}}{\min }\sum _{p=1}^v{\gamma }_p^2{\Vert {\mathbf{X}}_p{\mathbf{H}}_p-{\mathbf{B}}_p\mathbf{Z}{\mathbf{H}}_p\Vert }_F^2+\mu \Vert \mathbf{Z}{\Vert }_F^2$$

利用 ${\mathbf{X}}_p{\mathbf{H}}_p{\mathbf{H}}_p^{\top }={\mathbf{X}}_p\otimes {\mathbf{A}}_p$，可将问题按列解耦。对第 $i$ 个样本，定义 ${\mathbf{z}}_i\in {\mathbb{R}}^m$ 为 $\mathbf{Z}$ 的第 $i$ 列，则优化问题为：

$$\underset{{\mathbf{z}}_i}{\min }\Vert {\mathbf{z}}_i-{\mathbf{y}}_i{\Vert }_2^2\text{s.t.}{\mathbf{z}}_i\ge 0,{\mathbf{z}}_i^{\top }1=1$$

其中：

$${\mathbf{y}}_i=\frac{{\sum }_{p=1}^v{\gamma }_p^2{a}_{p,i}{\mathbf{B}}_p^{\top }{\mathbf{x}}_{p,i}}{\mu +{\sum }_{p=1}^v{\gamma }_p^2{a}_{p,i}}$$

这里 $a_{p,i}=1$ 若第 $i$ 个样本在视图 $p$ 存在，否则为 0。

该问题为投影到概率单纯形（probability simplex）上的欧氏投影，有闭式解：

$${\mathbf{z}}_i=\max ({\mathbf{y}}_i+{\sigma }_{i}1,0),\text{其中}{\sigma }_i=\frac{1-{\mathbf{y}}_i^{\top }1}{m}$$

（实际实现中常用更高效的排序投影算法，如 [Duchi et al., 2008]）

---

3. 固定 {Bp},Z\{\mathbf{B}_p\}, \mathbf{Z}{Bp​},Z，优化 $\mathbf{\gamma }$

令 ${ϵ}_p={\Vert {\mathbf{X}}_p{\mathbf{H}}_p-{\mathbf{B}}_p\mathbf{Z}{\mathbf{H}}_p\Vert }_F^2$，则问题为：

$$\underset{\mathbf{\gamma }}{\min }\sum _{p=1}^v{\gamma }_p^2{ϵ}_p\text{s.t.}{\mathbf{\gamma }}^{\top }1=1,\mathbf{\gamma }\ge 0$$

由 Cauchy–Schwarz 不等式，最优解为：

$${\gamma }_p=\frac{1/{ϵ}_p}{{\sum }_{q=1}^{v}1/{ϵ}_q}$$

即误差越小的视图，权重越大。

---

四、主要贡献点

1. 提出 FIMVC-VIA 方法：首个在大规模不完整多视图聚类中同时兼顾视图特异性与一致性的锚图方法。
2. 视图独立锚点学习：避免了共享锚点对视图结构的破坏，更好地挖掘互补信息。
3. 线性复杂度：时间与空间复杂度均为 $O(n)$（$m,d\ll n$），可扩展至 Cifar10/100、MNIST 等大尺度数据集。
4. 理论保证：目标函数单调下降，算法收敛到局部最优。
5. 实验验证：在 7 个数据集上显著优于现有 SOTA 方法（包括 IMVC-CBG、DAIMC、UEAF 等），尤其在高缺失率下仍保持鲁棒性。

---

五、算法实现过程（Algorithm 1）

输入：不完整多视图数据 {Xp}p=1v\{\mathbf{X}_p\}_{p=1}^v{Xp​}p=1v​，缺失指示矩阵 {Hp}p=1v\{\mathbf{H}_p\}_{p=1}^v{Hp​}p=1v​，聚类数 $k$，锚点数 $m$，正则参数 $\mu$。

步骤：

1. 初始化：

   • ${\gamma }_p=1/v$；
   • 对每个视图 $p$，用 k-means 在 ${\mathbf{X}}_p{\mathbf{H}}_p$ 上初始化 ${\mathbf{B}}_p$；
   • 初始化 $\mathbf{Z}$（如均匀分布或基于初始 ${\mathbf{B}}_p$ 构造）。

2. 迭代直至收敛：

   • Step 1：对每个 $p$，计算 ${\mathbf{\Lambda }}_p=({\mathbf{X}}_p\otimes {\mathbf{A}}_p){\mathbf{Z}}^{\top }$，SVD 得 ${\mathbf{B}}_p={\mathbf{U}}_m{\mathbf{V}}_m^{\top }$；
   • Step 2：对每个样本 $i$，计算 ${\mathbf{y}}_i$，投影到单纯形得 ${\mathbf{z}}_i$，组成 $\mathbf{Z}$；
   • Step 3：计算 ${ϵ}_p=\Vert {\mathbf{X}}_p{\mathbf{H}}_p-{\mathbf{B}}_p\mathbf{Z}{\mathbf{H}}_p{\Vert }_F^2$，更新 ${\gamma }_p=(1/{ϵ}_p)/{\sum }_q(1/{ϵ}_q)$。

3. 输出聚类结果：

   • 对最终 $\mathbf{Z}\in {\mathbb{R}}^{m\times n}$ 进行 SVD，取前 $k$ 个左奇异向量构成 $k$ 维嵌入；
   • 在该嵌入上运行 k-means 得到聚类标签。

注：实际代码中，${\mathbf{X}}_p\otimes {\mathbf{A}}_p$ 的实现通过仅对存在的样本计算，避免构造大稀疏矩阵，进一步节省内存。

---

综上，FIMVC-VIA 是一个高效、可扩展、兼顾视图特性与一致性的不完整多视图聚类框架，在理论和实验上均展现出显著优势。