RT-DETR：DETRs Beat YOLOs on Real-time Object Detection（CVPR2024）

最新推荐文章于 2026-05-12 22:55:23 发布
原创 最新推荐文章于 2026-05-12 22:55:23 发布 · 1.8k 阅读 · 38


文章目录


原文
哇撒

Abstract

作者观察到NMS对YOLOs的速度和准确性有负面影响。（NMS进行后处理，不仅降低了推理速度，而且引入了导致速度和精度不稳定的超参数）。并且不同的场景对召回率和准确率的重视程度不同，需要仔细选择合适的NMS阈值，这阻碍了实时检测器的发展
DETRs为消除NMS提供了另一种选择，然而，高昂的计算成本限制了它们的实用性，阻碍了它们充分发挥排除NMS的优势

在本文中，作者提出了实时检测转换器(RT-DETR)解决NMS带来的影响，这是所知的第一个实时端到端对象检测器

RT-DETR包括两个关键增强：快速处理多尺度特征的高效混合编码器，以及提高初始对象查询质量的最小不确定性查询选择。
并且RT-DETR支持灵活的速度调整，无需重新训练，消除了两个NMS阈值带来的不便，促进了其实际应用

RT-DETR-R50 /R101在COCO上实现53.1% / 54.3%的AP，在T4 GPU上实现108 / 74 FPS，在速度和精度方面都优于以前先进的yolo。此外，RT-DETR-R50在精度上比DINO-R50高出2.2%，在FPS上高出约21倍。使用Objects365进行预训练后，RT- der - r50 / R101的AP达到55.3% / 56.2%

在小目标上表现并不良好

标签
#目标检测 #人工智能 #计算机视觉
最低0.47元/天 解锁文章
DETRs Beat YOLOs on Real-time Object Detection组会汇报
11-28
DETRs Beat YOLOs on Real-time Object Detection
【论文阅读】DETRs Beat YOLOs on Real-time Object Detection
Limiiiing的博客
09-07 4325
YOLO系列由于在速度和准确性之间的合理权衡，已成为最受欢迎的实时目标检测框架。然而，我们观察到YOLO的速度和准确性受到NMS的负面影响。最近，基于端到端Transformer的检测器（DETRs）为消除NMS提供了一种替代方案。尽管如此，高计算成本限制了它们的实用性，并阻碍了它们充分发挥排除NMS的优势。在本文中，我们提出了实时检测Transformer（RT - DETR），据我们所知，这是第一个解决上述困境的实时端到端目标检测器。
RT-DETR：《DETRs Beat YOLOs on Real-time Object Detection》
qq_54828577的博客
04-27 1701
基于Transformer的端到端检测器（DETR）的高计算成本问题尚未得到有效解决，这限制了它们的实际应用，并使它们无法充分利用无后处理的好处，。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了端到端的速度基准。为了避免NMS引起的推理延迟，作者提出了一种实时检测Transformer（RT-DETR），这是第一个实时端到端目标检测器。具体而言，
DETRs Beat YOLOs on Real-time Object Detection
毕竟是Shy哥
09-01 2461
问题：目前的实时检测器的推理速度被NMS延迟为了避免NMS造成的延迟，我们设计了一个实时端到端检测器，其中包括两个关键的改进组件：可以有效地处理多尺度特征和IoU感知查询选择的混合编码器改进了对象查询的初始化。
【计算机视觉 | 目标检测】RT-DETR：DETRs Beat YOLOs on Real-time Object Detection
wzk4869的博客
04-24 8389
【计算机视觉 | 目标检测】RT-DETR：DETRs Beat YOLOs on Real-time Object Detection
论文解读：DETRs Beat YOLOs on Real-time Object Detection
a486259的博客
06-21 8626
2023年最强目标检测器re-detr论文的基本解读。前些年基于端到端transformer-based detectors（DETRs）取得了显著的性能。然而，DETRs的高计算成本的问题还没有得到有效的解决，这限制了它们的实际应用，并阻止了它们充分利用没有非最大抑制（NMS）后处理的好处。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了一个端到端速度基准。为了避免NMS造成的推理延迟，我们提出了一种实时检测转换器（RT-DETR），这是我们所知的第一个实时端到端目标检测器。
RT-DETR:DETRs Beat YOLOs on Real-time Object Detection (CVPR2024)
qq_40734883的博客
07-29 2632
文中提出了第一个实时端到端对象检测器RT-DETR。通过借鉴高级DETR，分两步构建RT-DETR：首先专注于在不牺牲准确性的同时提高速度，然后在不牺牲速度的同时提高准确性。具体来说，设计了**一个高效的混合编码器**，通过分离同一尺度上的相互作用和跨尺度融合，以加快多尺度特征的处理速度。然后，提出了**不确定性最小化的查询选择**，为解码器提供高质量的初始查询，从而提高了准确性。此外，RT-DETR支持通过调整解码器层数来适应各种场景的灵活速度调整，而无需重新训练。
【论文阅读】【CVPR】DETRs Beat YOLOs on Real-time Object Detection
su20060703的博客
05-24 1167
YOLO 系列由于在速度和精度之间进行了合理的权衡，已成为最受欢迎的实时目标检测框架。然而，作者发现非极大值抑制（NMS）对 YOLO 的速度和精度有负面影响。最近，基于端到端 Transformer 的检测器（DETR，全称为Detection Transformer）为消除 NMS 提供了一种替代方案。尽管如此，高昂的计算成本限制了它们的实用性，并阻碍了它们充分发挥排除 NMS 的优势。在本文中提出了实时检测 Transformer（RT-DETR），据所知，这是首个解决上述困境的实时端到端目标检测器。
CVPR 2023目标检测(Object Detection)DETRs Beat YOLOs on Real-time Object Detection
rosieb的博客
03-21 1723
近年来，基于变压器的端到端检测器(DETRs)取得了令人瞩目的进展。然而，高计算成本限制了der的实际应用，使其无法充分发挥无后处理(non-maximum suppression, NMS)等优点。本文首先分析了NMS对现有实时目标检测器的精度和速度的负面影响，并建立了端到端的速度基准。为了解决上述问题，我们提出了实时检测变压器(RT-DETR)，这是我们所知的第一个实时端到端对象检测器。
《DETRs Beat YOLOs on Real-time Object Detection》CVPR2023论文解读
qq_46981910的博客
07-30 1588
这篇论文介绍了一种名为Real-Time DEtection TRansformer (RT-DETR)的新方法，旨在解决现有端到端基于Transformer的目标检测（DETRs）在实时目标检测中的高计算成本问题。作者首先分析了现代实时目标检测器中非极大值抑制（NMS）对推理速度的影响，并建立了一个端到端速度基准。为了避免NMS引起的推理延迟，提出了RT-DETR，据作者所知，这是第一个实时端到端目标检测器。
【CVPR】DETRs Beat YOLOs on Real-time Object Detection
su20060703的博客
09-14 817
YOLO 系列由于在速度和精度之间进行了合理的权衡，已成为最受欢迎的实时目标检测框架。然而，作者发现非极大值抑制（NMS）对 YOLO 的速度和精度有负面影响。最近，基于端到端 Transformer 的检测器（DETR，全称为Detection Transformer）为消除 NMS 提供了一种替代方案。尽管如此，高昂的计算成本限制了它们的实用性，并阻碍了它们充分发挥排除 NMS 的优势。在本文中提出了实时检测 Transformer（RT-DETR），据所知，这是首个解决上述困境的实时端到端目标检测器。
【CVPR】 DETRs Beat YOLOs on Real-time Object Detection
2501_94432776的博客
11-30 662
摘要：本文提出RT-DETR，首个基于Transformer的实时端到端目标检测器。通过高效混合编码器（解耦尺度内交互与跨尺度融合）和不确定性最小化查询选择方法，在COCO数据集上以108FPS达到53.1%AP，超越同类YOLO模型。RT-DETR消除了NMS带来的计算不稳定性和超参数敏感性，支持灵活调整解码器层数以适应不同应用场景，为实时检测提供了新范式。（148字）
论文泛读: DETRs Beat YOLOs on Real-time Object Detection
c2861024198的博客
08-30 1118
DETRs Beat YOLOs on Real-time Object Detection论文泛读笔记
DETRs 优于 YOLOs 的实时目标检测
博客之路,前途漫漫
11-28 1496
目标检测是一项基础的视觉任务，涉及识别和定位图像中的对象。现代目标检测器有两种典型架构：基于CNN和基于Transformer。在过去几年中，基于CNN的目标检测器进行了广泛的研究。这些检测器的架构已从最初的两阶段发展到单阶段，并出现了基于锚点和无锚点两种检测范式。这些研究在检测速度和精度方面都取得了显著进展。自从提出以来，基于Transformer的目标检测器(DETRs)因其消除了各种手工制作的组件（例如非最大抑制NMS）而受到学术界的广泛关注。
【Head-DETR系列（4）】【CVPR2024】DETRs Beat YOLOs on Real-time Object Detection
AbiUni（YY熊）
09-18 579
YOLO 系列因其在速度和准确度之间的合理权衡而成为最受欢迎的实时物体检测框架。然而，我们观察到 YOLO 的速度和准确度受到 NMS 的负面影响。最近，基于 Transformer 的端到端检测器 (DETR) 提供了一种消除 NMS 的替代方案。然而，高计算成本限制了它们的实用性，阻碍了它们充分利用排除 NMS 的优势。在本文中，我们提出了实时检测变换器 (RT-DETR)，这是我们所知的第一个解决上述困境的实时端到端物体检测器。我们借鉴先进的 DETR 分两步构建 RT-DETR：首先我们专注于在。
CVPR 2024 接收结果出炉！再创历史新高！附10篇最新论文
热门推荐
阿木寺的博客
02-27 3万+
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【多模态和扩散模型】交流群添加微信：CVer444，小助手会拉你进群！扫描下方二维码，加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文搞科研，强烈推荐！2024年 2 月 27日凌晨，CVPR 2024 顶会论文接收结果出炉！这次没有先放出论文 ID L...
CVPR2024 | DETRs Beat YOLOs on Real-time Object Detection
最新发布
2501_93976498的博客
05-12 374
论文期刊：CVPR论文作者：Yian Zhao，Wenyu Lv，Shangliang Xu，Jinman Wei，Guanzhong Wang，Qingqing Dang，Yi Liu，Jie Chen发布年份：2024论文代码：未公开。
RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-03 2万+
1️⃣本专栏已更新260多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习
每日学术速递4.19
与君共勉，一起学习
04-20 899
我们的 RT-DETR-L 在 COCO val2017 上实现了 53.0% 的 AP，在 T4 GPU 上实现了 114 FPS，而 RT-DETR-X 实现了 54.8% 的 AP 和 74 FPS，在速度和精度上都优于所有相同规模的 YOLO 检测器。我们的早期实验表明，LLaVA展示了令人印象深刻的多模型聊天能力，有时在看不见的图像/指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，产生了 85.1% 的相对分数。标题：可视化指令调优。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值