Open Vegetabhl opened 2 years ago
大佬,我想麻烦请问下我看论文中swin transformer block都是成对出现的,你代码中SwinTransformerLayer的具体结构是不是只是下面的一半,比如1个C3STR模块内部堆叠了4个SwinTransformerLayer,那这3个并不一定完全是按照W-MSA,SW-MSA,W-MSA,SW-MSA,这样排的吗? 也可能是W-MSA,W-MSA,SW-MSA,W-MSA这样排的对吗?
我也刚接触swin transformer ,可能说的不太清楚,主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚,谢谢您了。
兄弟,你跑了代码吗,想知道采用swin transformer占显存有多大,1120的输入我的占7-8G
的具体结构是不是只是下面的一半 你您,请问你搞清楚了吗
大佬,我想麻烦请问下我看论文中swin transformer block都是成对出现的,你代码中SwinTransformerLayer的具体结构是不是只是下面的一半,比如1个C3STR模块内部堆叠了4个SwinTransformerLayer,那这3个并不一定完全是按照W-MSA,SW-MSA,W-MSA,SW-MSA,这样排的吗? 也可能是W-MSA,W-MSA,SW-MSA,W-MSA这样排的对吗?
我也刚接触swin transformer ,可能说的不太清楚,主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚,谢谢您了。