特征增强金字塔FPN

特征增强金字塔FPN

利用 ConvNet 特征层次结构的金字塔形状，构建一个在所有尺度上都具有强大语义的特征金字塔

总结：特征金字塔是检测不同尺度物体的识别系统中的基本组成部分。

1.利用深度卷积网络固有的多尺度、金字塔层次结构，以边际额外成本构建特征金字塔。

2.结构为：自下而上的路径。自上而下的路径、横向连接。横向连接可在所有尺度上构建高级语义特征图。

该架构通过自上而下的路径和横向连接将低分辨率、语义强的特征与高分辨率、语义弱的特征相结合

应用：

在sliding window proposers (Region Proposal Network, RPN 区域提议网络）和

region-based detectors (Fast R-CNN) 中应用

来自 <[1612.03144] Feature Pyramid Networks for Object Detection>

常用特征提取结构

（a）图片金字塔：将图像做成不同的尺度，不同尺度的图像生成对应的不同尺度的特征，将提取到的特征预测

（b） 基础CNN结构：自底向上卷积，使用最后一层进行预测，仅采用最后一层的特征

（c）多尺度特征融合： 从网络不同层抽取不同尺度的特征做预测，不会增加额外的计算量 SSD目标检测算法

（d） 将主干网不同阶段（stage）特征组成特征金字塔，与多尺度特征融合相比，通过高层特征上采样和低层特征进行自顶向下的连接，进行下一步预测。

我们提出的特征金字塔网络 （FPN） 与 （b） 和 （c） 一样快速，但更准确。在此图中，特征图由蓝色轮廓表示，较粗的轮廓表示语义上更强的特征。

迭代特征金字塔Recursive Feature Pyramid Network,RFPN

DetectoRS:

1）宏观层次，提出递归特征金字塔网络（RFP，Recursive Feature Pyramid），集成FPN的反馈连接到主干网，使得主干网再训练得到的特征更好的适应检测或分割任务。

2）微观层次，提出可切换的空洞卷积（SAC，Switchable Atrous Convolution）替换主干网上的标准卷积，使得模型可自适应选择感受野。

a.

特征金字塔网络（FPN）是将主干网不同阶段（stage）特征组成特征金字塔

b.

RFP则添加了对于目标检测任务的梯度向主干网方向回传

c.

这个递归的过程展开的示意图，FPN反馈连接到主干网每个阶段的第一个block，使用的是ASPP结构（图中绿色圆点），图中画出的是2-step 序列RFP，FPN之间也进行了特征融合（图中红色部分）。

这种递归特征金字塔网络有什么好处呢？很明显它能够使得目标检测的错误回传信息更直接的反馈 调整主干网的参数。