search

ZF4444 / MMAL-Net

This is a PyTorch implementation of the paper "Multi-branch and Multi-scale Attention Learning for Fine-Grained Visual Categorization (MMAL-Net)" (Fan Zhang, Meng Li, Guisheng Zhai, Yizhao Liu).
249 stars 57 forks source link

如果图片中没有主体，本文方法是否有效？ #10

Closed hhaAndroid closed 4 years ago

hhaAndroid commented 4 years ago

常用的细粒度分类数据其实都是有主体的，例如cub数据，图片主体就是鸟。先进行AOLM找出主体，然后再进行APPM，找出所有判别区域，是一个有效的做法，但是有些细粒度数据没有主体哦。

有些数据集本身没有主体，例如每张图片存在好几个分散的判别区域。如果直接用本文方法好像不太行，因为AOLM仅仅会crop出主体，请问我所述的场景，如何进行适当修改呢？

ZF4444 commented 4 years ago

面对这种多个分散的判别区域，本方法可能会定位出面积最大的判别区域，或者由于Conv5b 激活图与 Conv5c 没有交集，而选取整张图像作为object image。

hhaAndroid commented 4 years ago

也就是说无法直接用，一个可能是最简单改法就是把AOLM分支去掉

ZF4444 commented 4 years ago

如果分类依据必要结合这几个分散的区域，那么目前不适用，相反如果这几个分散的区域包含的类别信息是重复的，那么关注最重要的应该也是可行的。你说的这个思路也挺好。

hhaAndroid commented 4 years ago

好的，非常感谢。其实我的任务并不是需要多个区域进行决策，而是如果训练时候不考虑这个问题，那么测试时候可能就只会和常规分类一样，可能仅仅找到最可判别区域而已，那么就有漏报的风险。所以希望从原理上训练过程中保证可以提取多个可判别区域，这样更加放心一点。