search

rayleizhu / BiFormer

[CVPR 2023] Official code release of our paper "BiFormer: Vision Transformer with Bi-Level Routing Attention"
https://arxiv.org/abs/2303.08810
MIT License
460 stars 36 forks source link

你好 请问biformer的思路 #22

Closed op-newman closed 1 year ago

op-newman commented 1 year ago

你好 首先恭喜你们，这是一篇很棒的作品 biformer的我看可以提高一些小目标的检测精度 我想知道这是为什么呢 有什么解读吗

rayleizhu commented 1 year ago

对小物体检测友好并不是我最初的motivation，只是实验观察。我猜测可能是因为BRA是稀疏的细粒度的attention，而没有额外的对key/value下采样。

实际上我尝试过对key/value进行下采样的方案，效果会明显差一些。

op-newman commented 1 year ago

谢谢你的答疑，非常感谢