search

Haiyang-W / CAGroup3D

[NeurIPS2022] This is the official code of "CAGroup3D: Class-Aware Grouping for 3D Object Detection on Point Clouds".
89 stars 9 forks source link

Implementation with mmdet3d #15

Closed xuxw98 closed 1 year ago

xuxw98 commented 1 year ago

Hi,

Thank you for your wonderful work! I wonder if you have any plans to share the mmdet3D version of this code. As most indoor 3D object detection methods are implemented with mmdet3d, it will make it easier to compare CAGroup3D with other methods on a unified platform.

Haiyang-W commented 1 year ago

Sorry for the late reply. We have been occupied with other tasks, and it has been challenging to find the time to finalize the mmdet3d release. However, if you require the mmdet3d version, I can provide you with the unpolished version.

Best, Haiyang

xuxw98 commented 1 year ago

Thank you for your reply! I would really appreciate it if you could send it to my email address.

Haiyang-W commented 1 year ago

Thank you for your reply! I would really appreciate it if you could send it to my email address.

Please check your email, I have sent it to you.

EmiyaNing commented 1 year ago

Sorry for the late reply. We have been occupied with other tasks, and it has been challenging to find the time to finalize the mmdet3d release. However, if you require the mmdet3d version, I can provide you with the unpolished version.

Best, Haiyang

Hello, if it's possible to send a mmdetection3d version to my [email address](url: ningkangl@icloud.com)

Haiyang-W commented 1 year ago

Sorry for the late reply. We have been occupied with other tasks, and it has been challenging to find the time to finalize the mmdet3d release. However, if you require the mmdet3d version, I can provide you with the unpolished version. Best, Haiyang

Hello, if it's possible to send a mmdetection3d version to my [email address](url: ningkangl@icloud.com)

Your mailbox seems to have rejected my mail. Could you provide any other emails?

EmiyaNing commented 1 year ago

I'm sorry, this email should be ok [email address](url: 23B936010@stu.hit.edu.cn)

Haiyang-W commented 1 year ago

23B936010@stu.hit.edu.cn)

Have sent it! :)

EmiyaNing commented 1 year ago

Haiyang你好！ 受制于我本人的英语水平，我担心使用英文写邮件可能无法准确的表达我的一些疑惑。我根据您之前发给我的CAGroup3D的mmdetection3d版本代码构造了一些实验，遇到了一些很有意思的问题。 我们这边使用的实验环境是双卡RTX 3090+cuda117，mmdetection3d使用的是最新的版本。由于上次您提供的代码包似乎缺失了一些组件（ops/pointnet2 似乎来自于openpcdet？），我这边没有直接跑通您提供的代码。因此我尝试将你的代码包中的voxel_roi_head迁移到了我们所使用的mmdetection3d版本中（不包含segroup的neck_with_head）。目前我们实验使用的配置是fcaf3d作为one-stage RPN，然后使用Voxel RoI Head作为ROI头。从实验结果来看，我这边训练出来的模型中Voxel roi head对整体精度的提升非常小。 我们发现一个非常有意思的现象是，在训练的过程中Voxel roi head的rcnn_reg_loss下降的趋势似乎并不明显，但目前我们并不清楚这对我们训练结果的失败有多大的影响。 如果可能的话，非常期望能够收到您的答复。

使用voxel roi head进行测试的结果在图片two-stage.png中，而仅使用one-stage RPN进行测试的结果在one-stage.png中。而我们训练时采用的配置文件以及训练过程的log文件我们放在了附件config&log.zip中。

从 Windows 版邮件发送

发件人: Haiyang Wang 发送时间: 2023年9月11日 23:36 收件人: Haiyang-W/CAGroup3D 抄送: Ning; Comment 主题: Re: [Haiyang-W/CAGroup3D] Implementation with mmdet3d (Issue #15)

@.) Have sent it! :) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

Haiyang-W commented 1 year ago
EmiyaNing commented 1 year ago

老哥您好！ 我这边跑了一下你公开的openpcdet版本的代码，实验的环境是双卡3090，ubuntu 20.04， cuda 113， torch 1.10，目前跑出来的两阶段结果和论文中十分接近。出于好奇我们将两阶段CAGroup3D的单阶段部分结果也评估了一下，然后发现了一个非常有意思的现象，单阶段部分头的检测结果和两阶段部分头的检测结果直接精度相差特别小，在0.25的iou阈值下，两者mAP相差0.64（rpn:72.93,roi:73.57），在0.5的iou阈值下，两者ap相差0.59（rpn:58.85,roi: 59.44）。 这种情况似乎和openpcdet里的其他outdoor检测器不太一样（我们之前观察过pvrcnn，pvrcnn++，voxelnet，ct3d，pdv等等两阶段户外检测器），户外的两阶段检测器的roi部分结果往往和rpn部分结果差异非常大。我想问一下，老哥你对这个现象有什么头绪嘛。 宁康林， 哈尔滨工业大学

从 Windows 版邮件发送

发件人: Haiyang Wang 发送时间: 2023年9月23日 13:55 收件人: Haiyang-W/CAGroup3D 抄送: Ning; Comment 主题: Re: [Haiyang-W/CAGroup3D] Implementation with mmdet3d (Issue #15)

• @.**@.有些提升。室内的二阶段我们当时也遇到了类似问题，比如rescore加不上去，只加上去了regression refine，感觉可能和label assignment。 • 很抱歉给您的代码不能顺利跑起来，因为是很久之前的代码了，我也没有再去重新跑尝试了。 • 在我们这rcnn_reg_loss还是有下降的，你看看是不是因为坐标系的原因，因为给您的代码是Mmdet3d0.15版本，mmdet3d @.至少可以提升2个点以上。您主要关注一下坐标系的问题，室内的二阶段感觉不是很好加。我也好久不follow 室内检测的工作了，很抱歉不能给您提供很有用的建议。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

Haiyang-W commented 1 year ago

老哥您好！ 我这边跑了一下你公开的openpcdet版本的代码，实验的环境是双卡3090，ubuntu 20.04， cuda 113， torch 1.10，目前跑出来的两阶段结果和论文中十分接近。出于好奇我们将两阶段CAGroup3D的单阶段部分结果也评估了一下，然后发现了一个非常有意思的现象，单阶段部分头的检测结果和两阶段部分头的检测结果直接精度相差特别小，在0.25的iou阈值下，两者mAP相差0.64（rpn:72.93,roi:73.57），在0.5的iou阈值下，两者ap相差0.59（rpn:58.85,roi: 59.44）。 这种情况似乎和openpcdet里的其他outdoor检测器不太一样（我们之前观察过pvrcnn，pvrcnn++，voxelnet，ct3d，pdv等等两阶段户外检测器），户外的两阶段检测器的roi部分结果往往和rpn部分结果差异非常大。我想问一下，老哥你对这个现象有什么头绪嘛。 宁康林， 哈尔滨工业大学 从 Windows 版邮件发送 发件人: Haiyang Wang 发送时间: 2023年9月23日 13:55 收件人: Haiyang-W/CAGroup3D 抄送: Ning; Comment 主题: Re: [Haiyang-W/CAGroup3D] Implementation with mmdet3d (Issue #15) • @.**@.有些提升。室内的二阶段我们当时也遇到了类似问题，比如rescore加不上去，只加上去了regression refine，感觉可能和label assignment。 • 很抱歉给您的代码不能顺利跑起来，因为是很久之前的代码了，我也没有再去重新跑尝试了。 • 在我们这rcnn_reg_loss还是有下降的，你看看是不是因为坐标系的原因，因为给您的代码是Mmdet3d0.15版本，mmdet3d @.至少可以提升2个点以上。您主要关注一下坐标系的问题，室内的二阶段感觉不是很好加。我也好久不follow 室内检测的工作了，很抱歉不能给您提供很有用的建议。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

我们当时也发现了类似的现象（但没您这个高的那么少），看起来是二阶段帮助一阶段学的更好了，如果单独训一阶段会再低一些。其次二阶段我们没加上rescore，这个可能也是一个问题。

Haiyang-W commented 1 year ago

老哥您好！ 我这边跑了一下你公开的openpcdet版本的代码，实验的环境是双卡3090，ubuntu 20.04， cuda 113， torch 1.10，目前跑出来的两阶段结果和论文中十分接近。出于好奇我们将两阶段CAGroup3D的单阶段部分结果也评估了一下，然后发现了一个非常有意思的现象，单阶段部分头的检测结果和两阶段部分头的检测结果直接精度相差特别小，在0.25的iou阈值下，两者mAP相差0.64（rpn:72.93,roi:73.57），在0.5的iou阈值下，两者ap相差0.59（rpn:58.85,roi: 59.44）。 这种情况似乎和openpcdet里的其他outdoor检测器不太一样（我们之前观察过pvrcnn，pvrcnn++，voxelnet，ct3d，pdv等等两阶段户外检测器），户外的两阶段检测器的roi部分结果往往和rpn部分结果差异非常大。我想问一下，老哥你对这个现象有什么头绪嘛。 宁康林， 哈尔滨工业大学 从 Windows 版邮件发送 发件人: Haiyang Wang 发送时间: 2023年9月23日 13:55 收件人: Haiyang-W/CAGroup3D 抄送: Ning; Comment 主题: Re: [Haiyang-W/CAGroup3D] Implementation with mmdet3d (Issue #15) • @.**@.有些提升。室内的二阶段我们当时也遇到了类似问题，比如rescore加不上去，只加上去了regression refine，感觉可能和label assignment。 • 很抱歉给您的代码不能顺利跑起来，因为是很久之前的代码了，我也没有再去重新跑尝试了。 • 在我们这rcnn_reg_loss还是有下降的，你看看是不是因为坐标系的原因，因为给您的代码是Mmdet3d0.15版本，mmdet3d @.至少可以提升2个点以上。您主要关注一下坐标系的问题，室内的二阶段感觉不是很好加。我也好久不follow 室内检测的工作了，很抱歉不能给您提供很有用的建议。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

另外关于模型性能，建议你使用第一次decay后的model去测，训到最后会overfitting，一般最高的是第一次decay后的一两个epoch。一般会低0.5～1.0个点，训到最后的话。

CCFish151 commented 6 months ago

Hello! :) I would really appreciate if you could send the mmdet3d version to my email. (cyzhao@whu.edu.cn)