[U-Net]CA-Net

论文题目：CA-Net: Comprehensive Attention Convolutional Neural Networks for Explainable Medical Image Segmentation

中文题目：CA-Net：用于可解释医学图像分割的综合注意力卷积神经网络

摘要

医学图像的准确分割是疾病诊断和治疗计划的基础，卷积神经网络（CNN）在医学图像自动分割方面取得了很好的效果，但分割目标的位置、形状和尺度变化很大，现有的CNN具有较差的可解释性，这限制了它们在临床决策中的应用。在这项工作中，我们在CNN架构中广泛使用多个注意力，并提出了一个全面的基于注意力的CNN（CA-Net）为了更准确和可解释的医学图像分割，同时意识到最重要的空间位置，通道和尺度。特别地，我们首先提出了一个联合空间注意力模块，使网络更多地关注前景区域。然后，提出了一种新颖的通道注意模块，用于自适应地重新校准通道特征响应并突出最相关的特征通道。此外，我们提出了一个尺度注意力模块，隐式地强调多个尺度中最显著的特征图，以便CNN能够适应对象的大小。对ISIC 2018皮肤病变分割和胎儿MRI的多类别分割数据集的广泛实验发现，我们提出的CA-Net将皮肤病变的平均分割Dice分数从87.77%显著提高到92.8%，与U-Net相比，胎盘和胎脑分别为84.79%至87.08%和93.20%至95.88%。与最先进的DeepLabv 3+相比，它将模型大小减少到约15倍，准确度接近甚至更好。此外，通过可视化注意力权重图，它比现有网络具有更高的可解释性。我们的代码可在www.example.com上获得https://github.com/HiLabgit/CA-Net

关键词：注意力，卷积神经网络，医学图像分割，可解释性 

1引言

医学图像分割的自动化对于病理定量评估，制定治疗计划和监测疾病进展[1]具有重要意义。然而，由于几个原因，这是一项具有挑战性的任务。首先，医学图像可以通过多种协议采集，通常具有低对比度和不均匀外观，导致过分割和欠分割[2]。其次，某些结构的尺度和形状变化很大，例如皮肤镜图像中的皮肤病变[3]，使得难以构建先验形状模型。此外，某些结构在大的图像背景下可能具有较大的位置和方向变化，例如磁共振成像（MRI）中的胎盘和胎儿大脑[2]，[4]，[5]。为了实现良好的分割性能，自动分割方法非常需要知道目标的尺度和位置。

随着深度卷积神经网络（CNN）的发展，许多分割任务已经实现了最先进的性能[1]。与传统方法相比，神经网络具有更高的表示能力，能够从大数据集中自动学习最有用的特征。然而，现有的大多数神经网络都面临着以下问题：首先，由于卷积层的设计，它们在不同的空间位置使用共享的权值，这可能导致缺乏空间感知，从而在处理形状和位置灵活的结构时，尤其是对于小目标，性能降低。其次，它们通常使用非常大量的特征通道，而这些通道可能是冗余的。许多网络，如U-Net [6]，使用具有不同语义信息的低级和高级特征的串联。它们对于分割任务可能具有不同的重要性，并且在抑制一些不相关通道的同时突出显示相关通道将有利于分割任务[7]。第三，CNNs通常提取多尺度特征来处理不同尺度的对象，但缺乏对特定图像的最适合尺度的认识[8]。最后但并非最不重要的是，由于其嵌套的非线性结构，大多数现有的神经网络的决策难以解释并以黑箱方式使用，这限制了其在临床决策中的应用。

为了解决这些问题，注意力机制有望提高CNN的分割性能，因为它模仿了人类关注特征图中最相关信息的行为，同时抑制不相关的部分。一般来说，CNN可以利用不同类型的注意力，例如注意相关的空间区域，特征通道和尺度。作为空间注意力的一个例子，注意力门（AG）[9]隐式地生成软区域建议，并突出显示腹部器官分割的有用显著特征。压缩和激发 Squeeze and Excitation（SE）块[7]是一种通道注意力，它重新校准与目标相关的有用通道特征图。Qin [10]使用注意力处理具有不同感受野的多个平行分支用于脑肿瘤分割，并且相同的思想用于超声图像的前列腺分割[11]。然而，这些工作只证明了使用单个或两个注意机制进行分割的有效性，这可能会限制网络的性能和可解释性。我们假设更全面地使用注意力将提高分割性能，并使其更容易理解网络的工作原理。

对于人工智能系统，当应用于医疗诊断时，可解释性是非常理想的[12]。CNN的可解释性对于验证预测具有潜在意义，其中必须保证网络对正确特征的依赖[12]。它还可以帮助人们了解模型的弱点和优点，以提高性能并从大型数据集中发现新的知识。在分割任务中，可解释性帮助开发人员解释和理解如何获得决策，并相应地修改网络以获得更好的准确性。一些早期的工作试图通过可视化不同层中的特征映射或卷积核来理解CNN的决策[13]。其他方法，如类激活图（CAM）[14]和引导反向传播（GBP）[15]，主要用于解释分类任务中CNN的决策。然而，CNN在医学图像分割背景下的可解释性很少被研究[16]，[17]。Schlemper等人[16]提出了注意力门attention gate，隐式学习抑制不相关区域，同时突出显著特征。此外，Roy等人[17]同时引入了空间和通道注意力，以提升有意义的特征。在这项工作中，我们利用空间，通道和尺度关注来解释和理解我们的网络如何获得像素级预测。可视化我们的网络获得的注意力权重不仅有助于了解哪个图像区域被激活以获得分割结果，还有助于了解对预测贡献最大的尺度和通道。

据我们所知，这是首次使用综合关注度来提高用于医学图像分割的神经网络的性能和可解释性的工作。这项工作的有以下三个贡献：

首先，我们提出了一种新的综合性的基于注意力的网络（即，CA-Net），以充分利用注意力的空间位置，渠道和规模。

其次，为了实现每一种注意，我们提出了新的构建模块，包括双通道多尺度空间注意模块、新的残差通道注意模块和从最合适的尺度中自适应地选择特征的尺度注意模块。

第三，我们使用综合注意力来获得我们的网络的良好可解释性，其中分割结果可以归因于相关的空间区域，特征通道和规模。

我们提出的CA-Net在两个分割任务上进行了验证：来自dermoscipic图像的二进制皮肤病变分割和胎儿MRI（包括胎儿大脑和胎盘）的多类分割，其中对象在位置，尺度和形状上变化很大。大量的实验表明，CA-Net优于不使用注意力或只使用部分注意力的同行。此外，通过可视化注意力权重图，我们实现了对CA-Net如何用于分割任务的良好解释。

2相关工作

A.用于图像分割的CNN

全卷积网络（FCN）[18]框架，如DeepLab [8]是自然语义图像分割的成功方法。随后，提出了一个编码器--解码器网络SegNet [19]来产生密集的特征图。DeepLabv 3 + [20]通过添加解码器模块和使用深度可分离卷积来扩展DeepLab，以获得更好的性能和效率。

在医学图像分割中，FCN网络也被广泛地应用于各种任务中。U-Net [6]是一种广泛用于2D生物医学图像分割的CNN。具有类似结构的3D UNet [21]和V-Net [22]被提出用于3D医学图像分割。在[23]中，提出了用于黑素瘤自动分割的扩张残差和金字塔池网络。其他一些具有良好医学图像分割性能的CNN包括HighRes 3DNet [24]，DeepMedic [25]和H-DenseUNet [26]等。然而，这些方法只使用位置不变的核函数进行学习，而没有关注与分割对象相关性更强的特征和位置，同时也没有提供解释决策过程的机制，因此解释性较差。

B.注意机制

在计算机视觉中，注意力机制应用于不同的任务场景[27]-[29]。空间注意力已用于图像分类[27]和图像标题[29]等。学习的注意力向量突出了以当前特征为条件的序列的显著空间区域，同时抑制了不相关的对应部分，使预测更具真实性。使用通道注意力的SE块最初被提出用于图像分类，最近被用于语义分割[26]，[28]。这些注意力机制的思想通过生成一个上下文向量来工作，该上下文向量为输入序列分配权重。在[30]中，提出了一种注意力机制，倾向于在多个尺度上对特征图进行软加权。然而，这种方法将多个调整大小的输入图像馈送到共享的深度网络，这需要人类专业知识来选择适当的大小，并且不能自适应目标尺度。

最近，为了利用医学图像分割的注意力机制，Oktay等人[9]将空间注意力与U-Net结合用于CT图像的腹部胰腺分割。Roy等人[17]提出了用于全脑和腹部多器官分割的并行空间和通道“压缩和激发”（scSE）框架。Qin等人[10]和Wang等人[11]从中间层获得不同大小的特征图，并通过分配注意力权重来重新校准这些特征图。尽管越来越多的工作利用注意力机制的医学图像分割，他们很少关注不同尺度的特征图。更重要的是，他们中的大多数只关注一个或两个注意机制，据我们所知，注意机制并没有被全面纳入，以提高分割任务的准确性和可解释性。

3方法

A. 带有综合注意力的CNN

利用综合注意力的CA-Net如图1所示，我们在其中添加了专门的卷积块，以同时实现关于特征图的空间，通道和尺度的综合注意力指导。在不失一般性的情况下，我们选择U-Net [6]的强大结构作为主干。U-Net主干是一个端到端的可训练网络，由编码器和解码器组成，每个分辨率级别都有快捷连接。编码器被看作是一个特征提取器，在多个尺度上依次获得高维特征，解码器利用这些编码的特征来恢复分割目标。

我们的CA-Net有四个空间注意力模块（），四个通道注意力模块（）和一个尺度注意力模块（&