当前位置：首页 > news >正文

TPAMI 2025 | 空间频率调制（SFM），深度学习语义分割的细节守护者

news 2025/7/27 14:34:38

《Spatial Frequency Modulation for Semantic Segmentation》。这篇论文已被TPAMI 2025接收，它提出了一种新颖的空间频率调制（SFM）方法，旨在解决深度学习模型在语义分割等任务中，因下采样操作导致高频空间信息（如纹理细节）丢失的问题。SFM通过在下采样前对高频特征进行“调制”，并在上采样时进行“解调”，有效缓解了混叠效应，成功保留了图像细节，为提升各类视觉任务的性能提供了通用且有效的解决方案。

论文标题：Spatial Frequency Modulation for Semantic Segmentation
作者：Linwei Chen, Ying Fu, Lin Gu, Dezhi Zheng, Jifeng Dai
机构：北京理工大学；日本东京大学；北京航空航天大学；清华大学
论文地址：https://arxiv.org/pdf/2507.11893v1
项目地址：https://github.com/Linwei-Chen/SFM
录用期刊：TPAMI 2025

研究背景与意义

在计算机视觉领域，语义分割、图像分类、实例分割等任务的准确性，在很大程度上依赖于对图像中高频空间信息的有效处理，例如精细的纹理细节、物体边缘等。然而，当前的深度学习模型，无论是卷积神经网络（CNN）还是Transformer，在处理这些高频信息时都面临一个普遍的挑战：下采样操作（如步幅卷积）会导致高频分量受到混叠（aliasing）或失真（distortion）的影响。

根据奈奎斯特-香农采样定理，当信号的采样频率低于其最高频率的两倍时，就会发生混叠，导致高频信息被错误地解释为低频信息，从而造成细节丢失和图像质量下降。这对于需要像素级精度的语义分割任务来说，是一个致命的问题。现有方法通常通过增加网络深度、使用空洞卷积或多尺度特征融合等方式来缓解，但都未能从根本上解决高频信息在下采样过程中的固有损失问题。

本研究的意义在于：

提出了全新的视角：从信号处理的频率域角度出发，通过“调制-解调”的创新机制，从根本上解决了高频信息在下采样中的损失问题。
通用性强：SFM的两个模块可以无缝集成到各种主流的深度学习架构中，包括CNN和Transformer，展现了广泛的适用性。
性能提升显著：不仅在语义分割任务上取得了突破，还成功扩展到图像分类、对抗鲁棒性、实例分割和全景分割等多个任务，证明了其在提升视觉任务性能方面的巨大潜力。

主要研究内容与方法

该论文的核心贡献在于其提出的空间频率调制（SFM）方法，它包含两个关键模块：自适应重采样（ARS）用于调制，以及多尺度自适应上采样（MSAU）用于解调。

1. 空间频率调制（SFM）的核心思想

SFM的核心理念是：在下采样之前，将图像中的高频特征“调制”到较低的频率，使其能够安全地通过下采样层而不发生混叠或失真。当需要恢复原始分辨率时，再通过“解调”操作将这些低频特征恢复为高频信息。这就像给高频信号穿上了一层“保护衣”，使其能够顺利通过“狭窄”的下采样通道。

2. 自适应重采样（Adaptive Resampling, ARS）——调制模块

ARS是SFM的调制模块，它通过以下方式实现高频特征的频率降低：

密集采样高频区域：ARS设计了一个轻量级的附加模块，能够密集采样图像中的高频区域。
放大信号：通过密集采样，可以有效地“放大”高频信号，根据信号处理中的频率缩放特性（Frequency Scaling Property），信号的放大（在空间域）会导致其频率的降低（在频率域）。这样，原本容易混叠的高频信息就被转换成了较低的频率，从而能够安全地通过后续的下采样层。

3. 多尺度自适应上采样（Multi-Scale Adaptive Upsampling, MSAU）——解调模块

MSAU是SFM的解调模块，它负责将经过调制（现在处于较低频率）的特征恢复为原始的高频信息：

非均匀上采样：MSAU通过非均匀上采样的方式来恢复高频信息。这意味着它不会简单地进行均匀插值，而是根据特征的特性进行自适应的恢复。
信息交互：该模块通过显式利用多尺度密集和稀疏重采样区域之间的信息交互，进一步提升了分割效果。这种交互有助于更精确地重建细节，避免了传统上采样可能带来的模糊。