多类别异常检测新SOTA-MVMCAD

这篇论文提出了一种用于多视角多类别异常检测 (MVMCAD) 的模型，旨在解决现有模型在多视角场景下建模不同视角之间关系和互补信息不足的问题。该模型通过整合来自多个视角的信息来准确识别异常。

论文地址： Learning Multi-view Multi-class Anomaly Detection
该项目代码暂未开源

主要亮点

1. 针对现有方法在多视角多类别异常检测中性能不佳的问题，该论文提出了一个名为MVMCAD的编码器-解码器框架。
2. MVMCAD通过引入半冻结编码器处理跨视图数据不一致性，设计异常放大模块增强异常区域信号，并利用跨特征损失融合多层语义信息。
3. 在Real-IAD数据集上的实验结果表明，所提出的MVMCAD模型在图像级别检测和像素级别定位任务上均取得了显著优于现有最先进方法的性能。

该论文提出了一种名为 MVMCAD（Multi-View Multi-Class Anomaly Detection）的模型，旨在解决现有 MCAD 模型在处理多视角数据时性能不佳的问题。现有 MCAD 方法通常难以有效建模不同视角之间的关系和互补信息，这导致它们在多视角场景下表现受限。MVMCAD 模型通过整合来自多个视角的信息，以准确识别异常。
!](https://i-blog.csdnimg.cn/direct/c492f16f795f477e8bb6a3a3f46b3be5.png)

该方法建立在一个 encoder-decoder 框架之上。核心方法包含三个关键组件：

Semi-Frozen Encoder (SFE)

为了应对视角数据的不一致性，SFE 结合了一个可训练的 pre-encoder prior enhancement mechanism 和一个 Frozen Backbone。该机制位于 Frozen Backbone 之前，允许模型在保持其原有视觉表示能力的同时，对多视角图像数据分布进行高效且稳定的适应。
给定输入图像 $x_0\in {\mathbb{R}}^{B\times C\times H\times W}$。
首先通过 pre-encoder 机制微调部分层以增强对多视角图像的适应性。
对输入图像进行加权归一化：
$${\tilde{X}}_{c,h,w}=\text{BN}(X)={\gamma }_c\cdot \frac{X_{c,h,w}-{\mu }_c}{{\sigma }_c}(1)$$
其中 ${\mu }_c$ 和 ${\sigma }_c$ 是输入的均值和方差，${\gamma }_c$ 是归一化缩放因子。
定义权重 ${\alpha }_c$：
$${\alpha }_c=\frac{|{\gamma }_c|}{{\sum }_{k=1}^C|{\gamma }_k|}(2)$$
加权结果：
$$X_{chc,h,w}=\sigma ({\alpha }_c)\cdot {\tilde{X}}_{c,h,w}\cdot X_{c,h,w}(3)$$
其中 $\sigma (\cdot )$ 是 sigmoid 激活函数。
计算特征图 $X_{chc,h,w}$ 沿通道维度的均值以校准不同视角输入特征的变化并提高特征一致性：
$${\beta }_{h,w}=\frac{M_{h,w}}{{\sum }_{h^{\prime }=1}^H{\sum }_{w^{\prime }=1}^W{M}_{h^{\prime },w^{\prime }}}(4)$$
其中 $M_{h,w}=\frac{1}{C}{\sum }_{c=1}^C{X}_{chc,h,w}$。
Prior 机制的最终输出：
$$X_{priorc,h,w}=\sigma ({\beta }_{h,w})\cdot X_{chc,h,w}\cdot X_{chc,h,w}(5)$$
然后，处理后的特征被 Patch 化并送入 Frozen Encoder $\epsilon$（使用 DINOv2-R 预训练的 ViT-Base/14）：
$$f_i=\epsilon (\text{Patch}(X_{priorc,h,w}))(6)$$
其中 $f_i\in {\mathbb{R}}^{B\times N\times D}$。

Anomaly Amplification Module (AAM)

为了更好地强调异常区域的表示，AAM 模块捕捉全局 token 间的上下文关系，并通过计算归一化相似度并反向加权特征响应来抑制与正常区域高度相似的 token。它不仅有助于模型聚合图像不同部分的关联信息，还能在抑制主导性正常模式的同时放大语义上偏差或稀有的 token（通常对应异常）。
给定 $f_i\in {\mathbb{R}}^{B\times N\times D}$。
计算 Query, Key, Value 矩阵：
$$Q=f_i{W}_Q,K=f_i{W}_K,V=f_i{W}_V(7)$$
其中 $W_Q,W_K,W_V\in {\mathbb{R}}^{D\times d_k}$ 是线性映射权重，$d_k$ 是 attention head 的维度。
计算 Value 的加权和：
$$F=W_F(\text{Softmax}(\frac{Q{K}^{\top }}{\sqrt{d_k}})V)(8)$$
其中 $W_F$ 是线性映射权重。
沿 token 维度归一化特征 $F$：
$$\hat{F}=\text{Normalize}(F,\text{dim}=N)(9)$$
计算 token 相似度得分：
$$\text{Sim}=\sum _{j=1}^N\Vert {\hat{F}}_j{\Vert }^2\cdot \gamma (10)$$
其中 $\gamma \in {\mathbb{R}}^{h\times 1}$ 是可学习的温度参数，$h$ 是 attention head 的数量。
定义 Soft Attention 分布：
$$\Pi =\text{Softmax}(\text{Sim})\in {\mathbb{R}}^{B\times h\times N}(11)$$
计算基于抑制的 attention factor：
$$\text{Att}=\frac{1}{1+({\Pi }^{\top }\cdot F^2)}(12)$$
AAM 的最终输出 $f_m$：
$$f_m=W_{out}(-(F\cdot \Pi )\cdot \text{Att})(13)$$
其中 $W_{out}$ 是线性映射权重，$f_m\in {\mathbb{R}}^{B\times N\times D}$。

Cross-Feature Loss (CFL)

为了捕捉在不同语义层次上表现的异常（一些表现为低级纹理偏差，另一些表现为高级结构不一致），CFL 被设计用于对齐浅层 encoder 特征与深层 decoder 特征，反之亦然。这使得 decoder 能够在浅层定位异常并在深层增强它们，从而提高模型准确和鲁棒的异常检测能力。
从 SFE 获得特征 { f e 1 , f e 2 } \{f_{e1}, f_{e2}\} {fe1​,fe2​}，从 AAM 获得特征 f m = { f 1 , f 2 } f_m = \{f_1, f_2\} fm​={f1​,f2​}。
损失对齐 $f_{e1}$ 与 $f_2$，以及 $f_{e2}$ 与 $f_1$。
定义相似度为 $1-\text{cos}(z_1,z_2)$，其中 $\text{cos}$ 是余弦相似度。
$$\text{Score}=1-\text{cos}(z_1,z_2)(14)$$
选取相似度得分最高的前 10% 的索引集合 $I$：
I = { i ∣ Score i ≥ h } ( 15 ) I = \{i \mid \text{Score}_i \ge h\} \quad (15) I={i∣Scorei​≥h}(15)
其中 $h$ 是恰好排名在前 10% 的相似度得分。
Cross-Feature Loss 计算如下：
$$L_{cross}=\frac{1}{2}\left[\frac{1}{|I|}\sum _{i\in I}\text{Score}(f_{e1},f_2{)}_i+\frac{1}{|I|}\sum _{i\in I}\text{Score}(f_{e2},f_1{)}_i\right](16)$$

在训练阶段，decoder 学习重建从 encoder 提取的中间特征 $f_m$，通过最小化 CFL 来对齐深浅层表示。在推理阶段，decoder 能很好地重建正常区域但无法重建异常区域，从而暴露偏差。像素级别的重建误差用于生成异常热图并计算最终的异常得分 $S$。

实验结果

在 Real-IAD 数据集上进行的大量实验验证了该方法的有效性。在 image-level 异常检测方面，MVMCAD 取得了 91.0/88.6/82.1 的 AUROC/AP/F1-max 分数，超过了现有最佳方法 Dinomaly。在 pixel-level 异常定位方面，该方法取得了 99.1/43.9/48.2/95.2 的 AUROC/AP/F1-max/AUPRO 分数，同样优于现有 SOTA 方法。消融实验表明，SFE、AAM 和 CFL 各自对性能提升有贡献，三者结合 achieves best overall performance。可视化结果显示模型能够精确本地化不同类型对象的异常。该方法在单独类别训练设置下也表现出色，并在 pixel-level 异常定位方面显著优于 UniAD 和 MVAD。

论文最后指出，未来的工作将集中于提高基于 Transformer 的 encoder-decoder 框架的训练和推理效率，并开发自适应的异常放大策略，以平衡像素级精度和整体性能，解决 AAM 可能导致的像素级 AP 和 F1-max 略微下降的问题。

论文贡献总结

• 提出了一个编码器-解码器框架，用于训练统一模型以解决多视角异常检测问题。
• 提出了半冻结编码器、异常放大模块和跨特征损失，以实现稳定的跨视角表示学习，增强异常区域的显著性，并对齐特征层次结构之间的语义差异，从而改进多视角异常检测。
• 在 Real-IAD 数据集上的大量实验表明，所提出的方法优于SOTA。指标表明，该方法在图像级别检测和像素级别定位的异常识别任务中均表现良好。