Open starzero-hhh opened 1 day ago
fp16训练可能会出现loss nan的情况,如果你用了自己的数据集,建议先排查数据源有没有nan。如果想彻底解决的话,可以考虑用全精度训练,但对计算资源有要求。
好的,感谢!
额... @.***
------------------ 原始邮件 ------------------ 发件人: "Windsrain/Selective-Stereo" @.>; 发送时间: 2024年11月22日(星期五) 下午4:27 @.>; @.**@.>; 主题: Re: [Windsrain/Selective-Stereo] 您好,Selective-Stereo程序方面我有一个问题 (Issue #25)
fp16训练可能会出现loss nan的情况,如果你用了自己的数据集,建议先排查数据源有没有nan
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
训练的过程中我遇到了如下的问题,触发了断言 从哪些方面可以修复这个bug