NET系列算法
一、 引言
U-Net是由Olaf Ronneberger等人于2015年提出的一种专为生物医学图像分割设计的卷积神经网络。其核心设计理念是**编码器-解码器(Encoder-Decoder)结构**与**跳跃连接(Skip Connections)**。因其结构优雅、效率高且在少量样本上也能表现优异,U-Net迅速成为图像分割领域的标杆性架构,并衍生出一个庞大的算法家族。
二、 U-Net:奠基之作
1. 核心网络结构:
编码器(收缩路径):
由多个重复的卷积层 + 激活函数 + 池化层组成。
作用:逐步提取图像特征,降低分辨率,增加通道数,捕获图像的**上下文信息(“是什么”)。
解码器(扩张路径):
由多个上采样层(如转置卷积) + 卷积层 组成。
作用:逐步恢复图像的空间分辨率,将特征映射回像素空间,实现**精确定位(“在哪里”)。
跳跃连接:
U-Net的核心创新。它将编码器每一层的特征图与解码器对应层的特征图进行**通道拼接(Concatenation)。
优势:将编码器捕获的浅层、精细的轮廓/位置信息(低阶特征)直接传递给解码器,有效弥补了在下采样过程中丢失的空间信息,从而生成边界清晰的分割结果。
2. 特点与影响:
简单实用:结构对称且直观,易于实现和训练。
数据高效:特别适合医学图像等标注数据稀缺的场景。
应用广泛:虽起源于医学图像,现已扩展到遥感、工业检测、自动驾驶等多个领域的视觉分割任务。
三、 U-Net++:密集连接的进化
U-Net++通过引入密集连接和深度监督,对原始U-Net进行了深度优化。
1. 网络结构改进:
嵌套的密集跳跃连接:
不再是简单的编码器到解码器的直接连接。它在U-Net的编码器和解码器之间构建了一个密集连接块。
每个解码器节点都会融合所有比它低层的编码器特征图。这实现了更全面、更密集的特征融合,类似于DenseNet的思想,让梯度流动更顺畅,特征利用更充分。
2. 深度监督:
机制:在U-Net++网络的多个层级(尤其是不同深度的解码器输出端)都引入一个分割输出头,并计算损失函数。
优势:
模型剪枝:由于每个分支都经过训练,可以在推理时根据对速度和精度的要求,选择任意一个分支作为输出,实现快速、无需重新训练的模型剪枝。
训练稳定:多损失函数共同监督,起到模型集成的效果,有助于训练更稳定、更精确的模型。
四、 U-Net+++(3+):多尺度特征整合的探索
U-Net+++是U-Net系列的一个变体,其设计重点在于更精细地整合不同尺度的特征。
1. 核心思想:
显式分离高低阶特征:
低阶特征(如X1, X2):通常包含边缘、纹理、轮廓等细节信息。U-Net+++通过不同的Max Pooling策略来整合这些特征,以保留更多的空间细节。
高阶特征:具有大的感受野,包含图像的全局和语义信息。通过**上采样**操作将其与低阶特征进行融合。
统一特征图通道**:网络中各层卷积均输出64个特征图,最后将所有尺度的特征(共5层 × 64通道 = 320通道)进行组合,形成一个富含多尺度信息的综合特征表示,再用于最终的分割预测。
2. 目标:通过更精巧的特征组合方式,进一步提升对复杂形状和不同尺度目标的分割精度。
