search

CalayZhou / MBNet

Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems (ECCV 2020)
100 stars 30 forks source link

特征可视化 #8

Open weihao86233531 opened 3 years ago

weihao86233531 commented 3 years ago

同学你好，PPT上的特征可视化方法有专门的嘛？可以提供一下吗

CalayZhou commented 3 years ago

你好，对于网络中的某个特征图（H×W×C），PPT介绍上的特征图可视化分成两种，一种是显示特征图中某个通道可视化的结果（H×W×1），另一种是把特征图（H×W×C）在通道层面进行相加（相加后维度为H×W）得到整个特征图的可视化结果。我所使用的可视化工具就是matplotlib 中的plt.imshow函数。

weihao86233531 commented 3 years ago

感谢回答，还有个问题，我用的是单张1080Ti，bath_size是4，但是训练到第三个epoch， total loss就等于NAN了，这是什么原因啊，我其他也没改啊

CalayZhou commented 3 years ago

batch_size我建议设置地尽量大一些，单张1080Ti应该可以设置到batch_size = 8左右，我之前没有在小batch下进行训练过，能不能把训练过程的loss变化贴出来看一看。

weihao86233531 commented 3 years ago

同学，已经跑成功了，谢谢啊，还想请教一下想做消融实验，删除DMAF,IAFC,Aligned模块，具体应该怎么做呢，新手见谅哈

CalayZhou commented 3 years ago

你好，如果需要对DMAF做消融实验，只需要把MBNetBackbone.py中的 DM_aware_fusion(x, x_lwir)函数修改为原有resnet的方式,也即作如下改动：

def DM_aware_fusion(x, x_lwir):
    x_mix = x
    x_lwir_mix = x_lwir
    return x_mix,x_lwir_mix

对于其他模块删除相应的代码部分再进行就训练即可。例如Aligned模块删除model_AP_IAFA.py line39~line49再做小修改把tensor名称变成一致。

feixiangdekaka commented 3 years ago

plt.imshow(feature, cmap='viridis') ok?