Liling-yang / LENFsuion

The code of "LENFusion: A Joint Low-Light Enhancement and Fusion Network for Nighttime Infrared and Visible Image Fusion"
15 stars 2 forks source link

预加载 #5

Open WangL0429 opened 1 week ago

WangL0429 commented 1 week ago

在训练fusion网络上,需要先增强,那是不是需要加载前一次的增强模型的权重啊

Liling-yang commented 1 week ago

train是以迭代的关系训练增强网络和融合网络(这个训练思路可以参考SeAFusion):第一代先训练增强网络,再训练融合网络,此时的融合网络直接加载前面训练的model就行了,不需要载入pth文件;第二代先训练增强网络(加载LFN和fusion的checkpoint以得到反馈损失去指导增强网络训练),再训练融合网络(加载第一代的fusion checkpoint)。所以不管迭代到第几代,融合的训练也只是调用增强的model而不是加载权重文件,目的是为了,如train.py中的enhancemodel = model.luminanceadjustment().cuda() ,image_visen,=enhancemodel(image_vis)