search

Sense-X / Co-DETR

[ICCV 2023] DETRs with Collaborative Hybrid Assignments Training
MIT License
950 stars 100 forks source link

可视化问题 #136

Closed gaowenjie-star closed 2 weeks ago

gaowenjie-star commented 4 months ago

您好，很感谢您的工作，我使用了您的可视化代码，但是我有一个问题关于multi-scale features，据我所知，deformable detr，在encoder的操作之前，会将backbone出来的特征将H,W进行合并，然后将4维的多维特征进行铺平，然后再进行后续的操作得到feature，您这里的multi-scale feature的维度是LxBxCxHxW，请问您是将后续得到的的feature进行逆操作得到的吗，还是说我的理解有问题，期待您的回复。

TempleX98 commented 3 months ago

把encoder输出的不同尺度的feature抽出来，插值到最大特征的维度再concat

gaowenjie-star commented 3 months ago

把encoder输出的不同尺度的feature抽出来，插值到最大特征的维度再concat

感谢您的回复，您是否可以分享对应的代码呢

TempleX98 commented 3 months ago

https://github.com/Sense-X/Co-DETR/blob/d01ef8b657cc3711c59759cf863fe5ab9aa50e76/projects/models/co_deformable_detr_head.py#L160 这里是从encoder输出中抽出不同scale特征的代码，后面把每个scale的特征尺寸都插值到mlvl_feats[0]的尺寸就可以

JiaPiangLi commented 2 months ago

您好，很感谢您的工作，我使用了您的可视化代码，但是我有一个问题关于multi-scale features，据我所知，deformable detr，在encoder的操作之前，会将backbone出来的特征将H,W进行合并，然后将4维的多维特征进行铺平，然后再进行后续的操作得到feature，您这里的multi-scale feature的维度是LxBxCxHxW，请问您是将后续得到的的feature进行逆操作得到的吗，还是说我的理解有问题，期待您的回复。

你有尝试在别的网络使用Discriminability Scorej进行可视化吗，我在DINO中针对Encoder输出特征按论文步骤进行可视化发现，可视化结果与论文相反，目标物体边缘附近得分较低，背景较高

gaowenjie-star commented 2 months ago

您好，很感谢您的工作，我使用了您的可视化代码，但是我有一个问题关于multi-scale features，据我所知，deformable detr，在encoder的操作之前，会将backbone出来的特征将H,W进行合并，然后将4维的多维特征进行铺平，然后再进行后续的操作得到feature，您这里的multi-scale feature的维度是LxBxCxHxW，请问您是将后续得到的的feature进行逆操作得到的吗，还是说我的理解有问题，期待您的回复。

你有尝试在别的网络使用Discriminability Scorej进行可视化吗，我在DINO中针对Encoder输出特征按论文步骤进行可视化发现，可视化结果与论文相反，目标物体边缘附近得分较低，背景较高

我就是使用dino进行可视化的，我就是直接将encoder输出的特征直接用作者的可视化代码操作，不需要别的操作，就得到了正常的可视化图，注意我是在执行测试的时候才成功的，训练的时候不行