如何将faster_rcnn的Grad-CAM映射到整张图像？

yizt / Grad-CAM.pytorch

pytorch实现Grad-CAM和Grad-CAM++,可以可视化任意分类网络的Class Activation Map (CAM)图,包括自定义的网络;同时也实现了目标检测faster r-cnn和retinanet两个网络的CAM图;欢迎试用、关注并反馈问题...

Apache License 2.0

730 stars 167 forks source link

Open HuangLian126 opened 3 years ago

HuangLian126 commented 3 years ago

您好！我按照您的步骤，能够得出faster_rcnn检测框所对应的Grad-CAM，然而我想实现如何将Grad-CAM映射到整张图像？

yizt commented 3 years ago

@HuangLian126 那就不要做裁剪，但是看整个图没有意义，边框已经框定位置了

yizt commented 3 years ago

@HuangLian126 错了，rcnn层的特征只有proposal的部分，没有整个图像的；如果想要整个图像的就要使用rpn层的特征做Grad-CAM了。

zht-ttt commented 3 years ago

@HuangLian126 错了，rcnn层的特征只有proposal的部分，没有整个图像的；如果想要整个图像的就要使用rpn层的特征做Grad-CAM了。

那请问该如何修改成rpn层呢？

yizt commented 3 years ago

@zht-ttt 可以用backbone的最后一个卷积层做，实现上更简单，参考分类的Grad-CAM即可

zht-ttt commented 3 years ago

@zht-ttt 可以用backbone的最后一个卷积层做，实现上更简单，参考分类的Grad-CAM即可

你好，能讲讲具体如何修改吗？我是小白，目前还在学习这一块

RuoyuChen10 commented 3 years ago

@zht-ttt 可以用backbone的最后一个卷积层做，实现上更简单，参考分类的Grad-CAM即可

你好，能讲讲具体如何修改吗？我是小白，目前还在学习这一块

demo里面的layer name自定义改一下

YunXiaoD commented 2 years ago

@zht-ttt用backbone的最后一个可以层做，实现上更简单，参考分类的Grad-CAM发酵

你好，能讲具体怎么修改吗？我是小白，现在还在学习这块

demo里面的layer name自定义改一下你好，请问你修改成功了吗？我最近也在学习fasterRcnn的可视化方法