DETRs Beat YOLOs on Real-time Object Detection论文详解

原创

已于 2023-07-04 10:14:06 修改 · 1.8k 阅读

于 2023-07-01 16:39:35 首次发布

本文提出RT-DETR，首个实时端到端物体检测器，解决了DETRs的高计算成本问题，无需NMS后处理，提供稳定快速的推理速度。通过混合编码器和IoU感知的查询选择优化，RT-DETR在速度和准确性上优于同类YOLO检测器。

论文题目：DETRs Beat YOLOs on Real-time Object Detection

论文地址：https://arxiv.org/abs/2304.08069

论文代码：mirrors / facebookresearch / ConvNeXt · GitCode

等我毕业再打败吧，别打败YOLO，广大研究生们不同意

1. 摘要

最近，基于端到端Transformer的检测器（DETRs）已经取得了显著的性能。然而，DETRs的高计算成本问题尚未得到有效解决，限制了它们的实际应用，并阻止它们充分利用无后处理的优点，例如非最大值抑制（NMS）。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了一个端到端速度基准。为避免NMS引起的推理延迟，我们提出了Real-Time DEtection TRansformer（RT-DETR），这是我们所知道的第一个实时端到端物体检测器。具体来说，我们设计了一个高效的混合编码器，通过解耦内部尺度交互和跨尺度融合来高效处理多尺度特征，并提出了IoU感知的查询选择来改善物体查询的初始化。此外，我们提出的检测器支持通过使用不同的解码器层来灵活调整推理速度，无需重新训练，这有助于实时目标检测器的实际应用。我们的RT-DETR-L在COCO val2017上达到了53.0％的AP和在T4 GPU上达到了114 FPS，RT-DETR-X达到了54.8％的AP和74 FPS，在速度和准确性方面都优于相同规模的所有YOLO检测器。此外，我们的RT-DETR-R50在准确性方面比DINO-Deformable-DETR-R50提高了2.2％的AP，在FPS方面约高出21倍。