search

Sense-X / Co-DETR

[ICCV 2023] DETRs with Collaborative Hybrid Assignments Training
MIT License
950 stars 100 forks source link

我用swin-tiny做backbone代替swin-L为什么推理速度相差不大？进行推理时，模型自动把辅助头去除了吗？还是要手工去除？ #142

Open KungFuPandaPro opened 3 months ago

KungFuPandaPro commented 3 months ago

我用的是co_dino_5scale_swin_l_16xb1_16e_o365tococo.py这个配置做的swin-l为backbone的模型训练，训练后模型权重900M，我用swin-tiny进行替换swin-l进行训练，模型权重变为240多M，但是推理速度居然相差不大，这是为什么？进行推理时，模型自动把辅助头去除了吗？还是要手工去除？

TempleX98 commented 3 months ago

推理时模型forward不会调用辅助分支。swin large和tiny的速度差异有详细的数字对比吗

KungFuPandaPro commented 3 months ago

推理时模型forward不会调用辅助分支。swin large和tiny的速度差异有详细的数字对比吗

我用的4090显卡做的推理，推理尺寸我设置为640x640，swim-L为backbone的模型推理速度9.4/it，swin-tiny模型为backbone的推理速度为10.4it/s,在训练时候两种backbone的模型占据的显存也差不多。我现在奇怪的就是两个模型保存的权重大小差异很大，分别为900M和249M，但是为什么占据的显存和推理速度方面查不太大，比较着急，很期待您的回复解答 config_co_detr_use.zip

KungFuPandaPro commented 3 months ago

推理时模型forward不会调用辅助分支。swin large和tiny的速度差异有详细的数字对比吗

我用的4090显卡做的推理，推理尺寸我设置为640x640，swim-L为backbone的模型推理速度9.4/it，swin-tiny模型为backbone的推理速度为10.4it/s,在训练时候两种backbone的模型占据的显存也差不多。我现在奇怪的就是两个模型保存的权重大小差异很大，分别为900M和249M，但是为什么占据的显存和推理速度方面查不太大，比较着急，很期待您的回复解答 config_co_detr_use.zip

TempleX98 commented 2 months ago

可以看看总的infer时间中，backbone infer分别占多少