search

Yuxiang1995 / ICDAR2021_MFD

1st Solution For ICDAR 2021 Competition on Mathematical Formula Detection（公式检测冠军方案）
Apache License 2.0
128 stars 42 forks source link

用ResNeSt101多卡训练时梯度爆炸 #6

Closed hengyeliu closed 2 years ago

hengyeliu commented 2 years ago

你好！我按照README里面的ResNeSt101用多卡训练时，一开始就梯度爆炸，请问你有遇到这种情况吗？ image

Yuxiang1995 commented 2 years ago

这并不是梯度爆炸，只是用ResNeSt101时防止爆显存而设置的混合精度训练，loss_scale设的dynamic，所以会自适应去改变loss scale，你可以观察一下后续真正的loss是否为Nan

ZeroCodePro commented 1 year ago

我按说明用8卡训练，后面loss为nan了，应该怎么调整