Dynamic Coarse-to-Fine Learning for Oriented Tiny Object Detection（CVPR2023待补）

Beginning

Abstract—>（Conclusion）—>Method—>Experiment—>Conclusion

Abstract

挑战

检测任意方向的微小物体给现有的检测器带来了巨大的挑战，特别是在标签分配方面。尽管近年来在定向目标检测器中对自适应标签分配进行了探索，但定向微小目标的极端几何形状和有限特征仍然会导致严重的不匹配和不平衡问题。具体而言，位置先验、正样本特征和实例不匹配，并且由于缺乏适当的特征监督，极端形状对象的学习存在偏差和不平衡。

方法

为了解决这些问题，我们提出了一个动态先验和由粗到精的分配器，称为DCFL。一方面，我们以动态方式对先验、标签分配和目标表示进行建模，以缓和不匹配问题。另一方面，我们利用粗糙的先验匹配和更精细的后验约束来动态分配标签，为不同的实例提供适当和相对平衡的监督

成果

在六个数据集上进行的大量实验表明，基线有了实质性的改进。值得注意的是，在单尺度训练和测试下，我们在DOTA-v1.5、DOTA-v2.0和DIOR- R数据集上获得了一级检测器的最先进性能。

Introduction

引出问题

定向边界框是一种更好的目标检测表示，因为通过引入旋转角度，极大地消除了对象的背景区域[55]。这一优势在航拍图像中表现得尤为明显，因为航拍图像中的目标是任意方向的，因此相应的目标检测数据集[7,11,35,55]和定制的定向目标检测器[10,17,18,60,62]大量涌现。
然而，一个不可忽视的事实是，在航空图像中存在着许多微小的物体。当定向对象的尺寸很小时，现有的目标探测器面临的挑战是相当显著的。特别是，定向微小物体的极端几何特性阻碍了精确的标签分配。

标签分配是目标检测中一个基本而关键的过程[68]，其中需要为先验(基于锚的框，无锚的为点检测器)分配适当的标签，以监督网络训练。

早期的work及存在的问题

图1展示了为面向对象的有效标签分配奠定了基础的一些工作

M*表示匹配函数。第二行中的每个方框表示先前的位置。第三行是对RetinaNet和DCFL的预测，其中绿色、蓝色和红色框表示真阳性、假阳性和假阴性预测。(a)retinanet、FCOS和旋转RPN在固定先验和固定先验之间静态地分配标签。(b)我们提出的DCFL动态更新先验和gt，以及动态分配标签

早期的工作是在通用目标检测器的基础上，额外预设不同角度的锚点(如旋转RPN[36])或精炼高质量的锚点(如s2-A- net[17])，然后是静态规则(如;使用MaxIoU策略[44]来分离正负(pos/neg)训练样本。因此，得到的先验框可以覆盖更多的地面真值(gt)框，并且可以预期相当大的精度提高。然而，静态分配不能根据gt的形状自适应划分正/负样本，并过滤掉低质量的样本，通常会导致性能次优。

近期的work及存在的问题

最近，自适应标签分配的探索[68]给社区带来了新的见解。对于定向目标检测，DAL[38]定义了一个预测感知的匹配度，并利用它来重新加权锚点，实现动态样本学习。此外，一些研究[21,23,26]将形状信息纳入检测器，并提出形状感知采样和测量。

尽管取得了进展，但定向微小物体的任意方向和极端尺寸仍然给探测器带来了难题

左图中的每个点表示一个先验位置。饼状柱状图中的数字表示在特定角度范围内分配给每个实例的阳性样本的平均数量

如上图所示，不匹配和不平衡的问题尤其明显。首先，在位置先验、特征和实例之间存在相互不匹配的问题。尽管一些自适应标签分配方案可能会探索更好的先验框或点的正负划分，但先验后面的采样特征位置仍然是固定的，派生的先验仍然是静态和均匀定位的，大多数先验偏离了微小物体的主体。无论我们如何划分正负样本，先验和特征本身都不能很好地匹配定向微小物体的极端形状。

其次，现有的检测器对于定向微小的物体往往会引入偏差和不平衡。更准确地说，对于基于锚的检测器，形状与锚盒不同的gt将产生低IoU，导致缺乏阳性样本。在图2中，我们计算了用RetinaNet分配给不同gts的阳性样本的平均值，并观察到对于角度和尺度远离预定义锚点的gts，极端缺乏阳性样本。对于无锚检测器，静态先验及其固定步幅限制了高质量阳性样本的上限。微小的物体只覆盖有限数量的特征点，而且这些特征点大多远离物体的主体

our work

如图1所示，我们通过以动态方式重新制定先验、标签分配和gt表示来缓解不匹配问题，这些都可以由深度神经网络(DNN)更新。同时，我们以从粗到精的方式动态渐进地分配标签，以寻求对各种实例的平衡监督。

（具体来说，我们引入了一个动态先验捕获块(PCB)来学习先验，它自适应地调整先验位置，同时保留先验的物理意义[54]。PCB的灵感来自于DETR[4]和Sparse R-CNN[48]中可学习提案的范例，它自然地避免了预定义的先验和特征之间的不匹配问题。与此范例相比，我们在保持密集检测器的快速收敛能力的同时，引入了其预先更新的灵活性[32,54]。基于动态先验，我们选择跨fpn层粗正样本(CPS)候选样本进行进一步的标签分配，CPS通过gt和动态先验之间的广义Jensen- Shannon散度39实现。GJSD能够将CPS扩展到物体附近的空间位置和相邻的FPN层，确保更多的极端形状物体的候选对象。在获得CPS后，我们用预测(后验)对这些候选样本重新排序，并用更精细的动态高斯混合模型(DGMM)表示gt，过滤掉低质量样本。所有的