weight init的问题

[zhuasd]

网络重新开始训练的时候初始化权重为何会出现Killed呢？在我使用top命令监控电脑，内存没有爆炸的时候，请问up主是什么原因呢？ root@2f0cdf9ef68c:/home/zzg/yolo3-pytorch# python3 train.py initialize network with normal type Killed

[zhuasd]

排查出来是因为我加了transformerblock的原因

[zhuasd]

正在积极寻找初始化transformerblock的方法

[bubbliiiing]

感觉不太合理……那个初始化会影响你的transformerblock吗……

[bubbliiiing]

你直接把init去了，会随机初始化

[zhuasd]

目前来看，通过transformer修改backbone之后，weight_init并没有受影响。

[zhuasd]

up主，我在使用新的backbone（加了注意力模块）进行网络训练的时候，进行300epoch(数据集比较小的缘故)train，loss降到0.27左右就不动了，而原yolov3网络在300epoch下能降到0.23左右。按理说我改进了backbone，loss应该会进一步降低的，为什么出现这种情况呢？还有什么方法能进一步降低loss呢（目前能想到的就是改进neck部分）？

[bubbliiiing]

不是的，注意力机制不一定容易拟合

[zhuasd]

解决拟合问题是需要增加epoch吗？增加注意力机制后的YOLOv3和原YOLOv3网络训练的epoch数是一致的，如果单独增加添加注意力机制后的YOLOv3的epoch数是不是实验结果就不能对照了呢？