DAViMNet：基于状态空间模型的域自适应目标检测

摘要：目标检测的无监督域自适应（UDA）旨在让在有标签源域上训练的模型适应无标签的目标域，确保模型在域迁移时仍具备稳健的性能。基于 Transformer 的架构擅长捕捉长距离依赖关系，但由于其二次方的注意力计算复杂度，面临效率方面的挑战，这限制了它在 UDA 任务中的可扩展性。为解决这些问题，我们提出了一种混合域自适应曼巴 - 变压器（Hybrid Domain-Adaptive Mamba-Transformer）架构，该架构将曼巴（Mamba）高效的状态空间建模与注意力机制相结合，以应对特定域的空间和通道变化。每个混合块集成了域自适应曼巴（DAMamba）块和注意力机制：DAMamba 采用空间和通道状态空间模型（SSMs）对域变化进行自适应建模，而注意力机制利用自注意力增强域内特征，利用交叉注意力实现源域与目标域的有效对齐。我们的方法同时处理浅层和深层特征，采用基于熵的知识蒸馏框架和带裕度的 ReLU 函数，突出判别性特征并抑制噪声。梯度反转层（Gradient Reversal Layers）可实现跨网络层的对抗对齐，而熵驱动的门控注意力结合随机扰动则能优化目标特征，减轻过拟合。通过整合这些组件，我们的架构在 UDA 目标检测中达到了最先进的性能水平，兼顾了效率和强大的泛化能力。