yizt / Grad-CAM.pytorch

pytorch实现Grad-CAM和Grad-CAM++,可以可视化任意分类网络的Class Activation Map (CAM)图,包括自定义的网络;同时也实现了目标检测faster r-cnn和retinanet两个网络的CAM图;欢迎试用、关注并反馈问题...
Apache License 2.0
730 stars 167 forks source link

为什么将mask映射到所检测出的物体上? #19

Open DeqiangXIA opened 4 years ago

DeqiangXIA commented 4 years ago

请问作者,对于目标检测来说,该项目为什么是将mask映射在所截取的物体上,而不是映射在整张输入图片上?

yizt commented 3 years ago

@DeqiangXIA 感谢您的反馈,可以映射到整张图像上,越靠近输出的语义信息更明显,所以原始的CAM取的是倒数第一个卷积层特征;对于目标检测最后几层卷积都是正对某个边框的,自然出来的就是裁剪后的边框,可以取更浅层的整张图像上的特征的梯度,但是在更浅层语义信息会越弱。