lyuwenyu / RT-DETR

[CVPR 2024] Official RT-DETR (RTDETR paddle pytorch), Real-Time DEtection TRansformer, DETRs Beat YOLOs on Real-time Object Detection. 🔥 🔥 🔥
Apache License 2.0
2.23k stars 246 forks source link

RTDETRv2 #179

Open lyuwenyu opened 8 months ago

lyuwenyu commented 8 months ago

https://arxiv.org/abs/2407.17140


I will release the rtdetrv2 soon, which will provide a better deployment experience and higher accuracy.

You can start this repo to follow news


The AP of rtdetrv2_r18vd on the COCO-val2017 dataset is increased by 1.4 and maintains the same inference speed compared with RTDETRv1. In addition, in order to make rtdetr everywhere, we provide rtdetrv2_r18vd_dsp that utilizes discrete deformable attention instead of deformable attention with negligible differences on AP50val compared with rtdetrv2_r18vd.

Figure
image
CatfishW commented 7 months ago

v2有哪些结构上的变化呀ovo

huihui308 commented 7 months ago

Do you have smaller model which can be trained on 3080ti?

Ryanshuai commented 7 months ago

求大佬更新pytorch v2!

leoxxxxxD commented 7 months ago

@lyuwenyu 大佬 v2年前可能开源吗

BUG1989 commented 6 months ago

@lyuwenyu 大佬,来催更了。之前的预训练模型里面的 add op 有 infinity 数据。模型量化会有问题 image

BUG1989 commented 6 months ago

我的问题我们已经解决了,在我司的芯片上运行效果挺好。

SoulProficiency commented 6 months ago

RTDETR可以转rknn吗?

SoulProficiency commented 6 months ago

我的问题我们已经解决了,在我司的芯片上运行效果挺好。 b7ace8de6dfabb44cce40f5677638a7

老哥,你们的芯片是rk的吗?

BUG1989 commented 6 months ago

我的问题我们已经解决了,在我司的芯片上运行效果挺好。 b7ace8de6dfabb44cce40f5677638a7

老哥,你们的芯片是rk的吗?

爱芯元智,AX650N

zhouzq-thu commented 4 months ago

waiting

Peterande commented 4 months ago

您好,请问v2有投稿意向吗?能得知大概会在什么时间范围内放出嘛? 我也有意向将RT-DETR这个IP做下去,像YOLO一样形成V2,V3....并且也取得了一些成果, 但似乎在您的官方v2发布前我无法擅自进行这种延续性的命名qwq

lyuwenyu commented 4 months ago

您好,请问v2有投稿意向吗?能得知大概会在什么时间范围内放出嘛? 我也有意向将RT-DETR这个IP做下去,像YOLO一样形成V2,V3....并且也取得了一些成果, 但似乎在您的官方v2发布前我无法擅自进行这种延续性的命名qwq


@Peterande 非常抱歉本issue名字给你带来的困扰


另外也非常高兴社区有RTDETR方向的优化,非常期待成果。( 这也是我们开源的目的之一 )

  1. RTDETRv2是我们刚发布v1之后的产物,是我们对RTDETR的优化版本(主要是训练策略and部署方面的优化,模型结构和v1是一致的,可能叫v1.5更合适)。所以从创新的的角度,应该不会和你有冲突
  2. RTDETRv2模型本来是有开源的计划,但是由于缺少人手的问题目前未能开源,也未形成技术报告/论文(模型限内部使用,但是不排除之后会直接开源代码)
  3. 鉴于本discussionhttps://github.com/lyuwenyu/RT-DETR/issues/179 已经存在的事实,建议你直接用v3,但是论文不需要和v2进行比较

如果有疑问和其他想法 欢迎继续讨论

Peterande commented 4 months ago

您好,请问v2有投稿意向吗?能得知大概会在什么时间范围内放出嘛? 我也有意向将RT-DETR这个IP做下去,像YOLO一样形成V2,V3....并且也取得了一些成果, 但似乎在您的官方v2发布前我无法擅自进行这种延续性的命名qwq

@Peterande 非常抱歉本issue名字给你带来的困扰

另外也非常高兴社区有RTDETR方向的优化,非常期待成果。( 这也是我们开源的目的之一 )

  1. RTDETRv2是我们刚发布v1之后的产物,是我们对RTDETR的优化版本(主要是训练策略and部署方面的优化,模型结构和v1是一致的,可能叫v1.5更合适)。所以从创新的的角度,应该不会和你有冲突
  2. RTDETRv2模型本来是有开源的计划,但是由于缺少人手的问题目前未能开源,也未形成技术报告/论文(模型限内部使用,但是不排除之后会直接开源代码)
  3. 鉴于本discussion (comming soon)已经存在的事实,建议你直接用v3,但是论文不需要和v2进行比较

如果有疑问和其他想法 欢迎继续讨论

非常感谢您的解答和分享!我已经明白了RTDETRv2的情况,也感谢您团队对社区的贡献和开源精神。

lyuwenyu commented 1 month ago

https://arxiv.org/abs/2407.17140

Ryanshuai commented 1 month ago

https://arxiv.org/abs/2407.17140

感谢感谢,现在就卡在 deformable attention,好多板子支持的不好。 感谢!

defrag-bambino commented 1 month ago

源代码什么时候到?

https://arxiv.org/abs/2407.17140