search

Gumpest / YOLOv5-Multibackbone-Compression

YOLOv5 Series Multi-backbone(TPH-YOLOv5, Ghostnet, ShuffleNetv2, Mobilenetv3Small, EfficientNetLite, PP-LCNet, SwinTransformer YOLO), Module(CBAM, DCN), Pruning (EagleEye, Network Slimming), Quantization (MQBench) and Deployment (TensorRT, ncnn) Compression Tool Box.
989 stars 201 forks source link

有关于SwinTransformerLayer #72

Open Vegetabhl opened 2 years ago

Vegetabhl commented 2 years ago

大佬，我想麻烦请问下我看论文中swin transformer block都是成对出现的，你代码中SwinTransformerLayer的具体结构是不是只是下面的一半，比如1个C3STR模块内部堆叠了4个SwinTransformerLayer，那这3个并不一定完全是按照W-MSA，SW-MSA，W-MSA，SW-MSA，这样排的吗？ 也可能是W-MSA，W-MSA，SW-MSA，W-MSA这样排的对吗？

我也刚接触swin transformer ,可能说的不太清楚，主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚，谢谢您了。

1

LUO77123 commented 2 years ago

大佬，我想麻烦请问下我看论文中swin transformer block都是成对出现的，你代码中SwinTransformerLayer的具体结构是不是只是下面的一半，比如1个C3STR模块内部堆叠了4个SwinTransformerLayer，那这3个并不一定完全是按照W-MSA，SW-MSA，W-MSA，SW-MSA，这样排的吗？ 也可能是W-MSA，W-MSA，SW-MSA，W-MSA这样排的对吗？

我也刚接触swin transformer ,可能说的不太清楚，主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚，谢谢您了。

1

兄弟，你跑了代码吗，想知道采用swin transformer占显存有多大，1120的输入我的占7-8G

TangFeo commented 1 year ago

的具体结构是不是只是下面的一半 你您，请问你搞清楚了吗