关于R3det_kl的训练问题

yangxue0827 / RotationDetection

This is a tensorflow-based rotation detection benchmark, also called AlphaRotate.

https://rotationdetection.readthedocs.io/

Apache License 2.0

1.07k stars 180 forks source link

Closed yanglcs closed 2 years ago

yanglcs commented 2 years ago

大佬你好！想请教一下，在r3det_kl的训练过程中，使用resnet_50的pretrained weights，reg_loss一直震荡，想问问是哪一步出现了问题呢？

cfgs设置和loss图像如下。

SAVE_WEIGHTS_INTE = 27000 * 1 CLS_WEIGHT = 1.0 REG_WEIGHT = 2.0 REG_LOSS_MODE = 3 # KLD loss

sendpix0

yangxue0827 commented 2 years ago

是正常的，你可以接着训练下去。

yanglcs commented 2 years ago

是正常的，你可以接着训练下去。

好的，谢谢大佬! 现在是13个epoch没什么效果，我还在怀疑是否单gpu训练没有效果，我继续训练试试。

yangxue0827 commented 2 years ago

r3det单卡容易不收敛，建议多卡

yanglcs commented 2 years ago

r3det单卡容易不收敛，建议多卡我试了r3det_gwd在单卡上还是收敛的，但是kl就不行/(ㄒoㄒ)/

yangxue0827 commented 2 years ago

是训练nan还是报什么不可逆的错误，如果是后者可以改一下下面的两个参数试试，比如 KL_TAU = 1.0 KL_FUNC = 1 # 0: sqrt 1: log