search

yhlleo / VTs-Drloc

NeurIPS 2021, Official codes for "Efficient Training of Visual Transformers with Small Datasets".
MIT License
138 stars 14 forks source link

融合Swin-T语义分割 #7

Closed jeromezyb closed 2 years ago

jeromezyb commented 2 years ago

您好，请问论文中的这个密集相对损失函数drloc怎么融合到swin-T的语义分割模型里呢？

yhlleo commented 2 years ago

@jeromezyb 你好，我们在测试Swin-T的语义分割模型时，并未使用drloc，而是使用了+drloc在imagenet-1k上预训练的Swin-T作为初始化，与原始的imagenet-1k上预训练的Swin-T作为初始化，进行对比。

jeromezyb commented 2 years ago

您好，我目前是想在Swin-T语义分割模型里融合这个drloc，然后用cityscapes进行训练，这样该怎么做呢？

yhlleo commented 2 years ago

这个想法很好，理想的情况下，可以加在backbone提取的multi-scale feature maps上，但是，如果backbone部分的参数在训练过程固定的话，使用drloc 可能没有效果。这种情况，需要backbone的参数也要一起参与训练。

jeromezyb commented 2 years ago

您好，我使用的是官方的https://github.com/SwinTransformer/Swin-Transformer-Semantic-Segmentation 的代码，然后将drloc融入后代码修改如下，但是这里在后面的head里会报错。主要发现在head去处理这个outs时没有对应的代码，这里不知道如何去修改。邮箱回复了您我修改的一些内容，由于我是做毕业设计，接触CV不太久，还麻烦您帮忙指导一些。

jeromezyb commented 2 years ago

将您项目中的loss相关依赖添加了，整个代码的基本框架就是采用的https://github.com/SwinTransformer/Swin-Transformer-Semantic-Segmentation，然后主要的修改就是这两个文件。

------------------ 原始邮件 ------------------ 发件人: "yhlleo/VTs-Drloc" @.>; 发送时间: 2022年2月24日(星期四) 下午3:03 @.>; @.**@.>; 主题: Re: [yhlleo/VTs-Drloc] 融合Swin-T语义分割 (Issue #7)

这个想法很好，理想的情况下，可以加在backbone提取的multi-scale feature maps上，但是，如果backbone部分的参数在训练过程固定的话，使用drloc 可能没有效果。这种情况，需要backbone的参数也要一起参与训练。

— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you were mentioned.Message ID: @.***>

yhlleo commented 2 years ago

@jeromezyb 好的，我这周末抽时间看看。

jeromezyb commented 2 years ago

好的，感谢感谢

yhlleo commented 2 years ago

您好，我使用的是官方的https://github.com/SwinTransformer/Swin-Transformer-Semantic-Segmentation 的代码，然后将drloc融入后代码修改如下，但是这里在后面的head里会报错。主要发现在head去处理这个outs时没有对应的代码，这里不知道如何去修改。邮箱回复了您我修改的一些内容，由于我是做毕业设计，接触CV不太久，还麻烦您帮忙指导一些。

邮箱没有收到邮件呢，可以重发一下到：yahui.liu@unitn.it

jeromezyb commented 2 years ago

重新发啦，麻烦啦

---原始邮件--- 发件人: "Yahui @.> 发送时间: 2022年2月24日(周四) 晚上11:28 收件人: @.>; 抄送: @.**@.>; 主题: Re: [yhlleo/VTs-Drloc] 融合Swin-T语义分割 (Issue #7)

您好，我使用的是官方的https://github.com/SwinTransformer/Swin-Transformer-Semantic-Segmentation 的代码，然后将drloc融入后代码修改如下，但是这里在后面的head里会报错。主要发现在head去处理这个outs时没有对应的代码，这里不知道如何去修改。邮箱回复了您我修改的一些内容，由于我是做毕业设计，接触CV不太久，还麻烦您帮忙指导一些。

@.***

— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you were mentioned.Message ID: @.***>