Mobile-Former: Bridging MobileNet and Transformer

[tkuri]

論文概要

MobileNetとTransformerを並列化しその間に双方向ブリッジを設けたネットワークの提案。双方の利点を組み合わせ、局所的特徴抽出におけるMobileNetの効率と、大域的相互作用のモデル化におけるTransformerのパワーを活用し、軽量ながらMobileNetV3を凌駕する性能を達成。

https://openaccess.thecvf.com/content/CVPR2022/html/Zhang_Wavelet_Knowledge_Distillation_Towards_Efficient_Image-to-Image_Translation_CVPR_2022_paper.html

Code

未確認。