search

youchangxin / YOLOv4_tensorflow2

YOLOv4 Implemented in Tensorflow 2.1，which supports training on custom dataset.
MIT License
25 stars 5 forks source link

模型细节上的问题（关于训练出现NAN） #3

Open Syencil opened 4 years ago

Syencil commented 4 years ago
  1. yolo head输出的linear层不需要加bn，加了bn会导致分布偏移，一是掉准确率，二是训练有nan
  2. 模型初始化还是不要用random-norm比较好，虽然用了bn，但是在你warmup不够的时候也容易nan，可以考虑用he_norm
  3. mish建议用tanh+softplus实现，方便部署（避免转换）

如果还出现NAN则需要考虑数据清洗，增大warmup step。

主要是1，2点会造成训练问题。

youchangxin commented 4 years ago

非常感谢你的回复， 我会好好参考你的意见。

mowushuang commented 4 years ago

我也出现nan的问题，请问解决了么？