DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution

原创

已于 2022-03-09 14:19:31 修改 · 1.6k 阅读

于 2022-03-04 17:32:13 首次发布

本文介绍了在对象检测领域，作者提出的一种递归特征金字塔(RFP)方法，它结合了特征金字塔网络(FPN)的反馈连接和Switchable Atrous Convolution(SAC)以增强表示能力。RFP通过反复运行和反馈优化，而SAC则通过空间自适应卷积提高检测器性能。主要关注点在于结构设计、实现细节和性能提升。

论文地址：https://arxiv.org/pdf/2006.02334v1.pdf
代码地址：https://github.com/joe-siyuan-qiao/DetectoRS
在这里插入图片描述

在宏观层面上，作者提出的递归特征金字塔 (RFP)建立在特征金字塔网络(FPN)之上，将FPN层的额外反馈连接合并到自底向上的骨干层，如上所示。将递归结构展开到一个顺序实现中，获得了一个对象检测器的主干，它可以查看两次或两次以上的图像。类似于Cascade R-CNN用更有选择性的例子训练的级联检测头，RFP递归地增强FPN，生成越来越强大的表示。类似于深度监督网络，反馈连接将直接从检测器头接收梯度的特征返回到自底向上主干的低级别，以加速训练和提高性能。RFP实现了一种连续的设计，即仔细观察和仔细思考，自底向上的主干和FPN被多次运行，其输出特性依赖于前面的步骤。
在微观层面，提出了Switchable Atrous Convolution (SAC)，该方法将相同的输入特征与不同的Atrous速率进行卷积，并使用开关函数收集结果。下图显示了SAC的概念示意图。开关函数具有空间依赖性，即feature map的每个位置可能有不同的开关来控制SAC的输出。为了在检测器中使用SAC，将自底向上主干中的所有标准3x3卷积层都转换为SAC，这大大提高了检测器的性能。
在这里插入图片描述

一、实现细节：

在这里插入图片描述

设 $B_i$ 表示自底向上主干的第i级， $F_i$ 表示自顶向下FPN操作的第i级。配备FPN的骨干网输出一组特征映射{ $f_i | i = 1，…， S$ }，其中S为阶段数。上图中的S = 3。任意的 $i = 1 ， \dots ， S$ ，输出特征 $f_i$ 定义为：
在这里插入图片描述
其中 $x_0$