Open Willamjie opened 5 months ago
别人使用v100训练也有这种情况 已在排查
有找到原因么~
有找到原因么~
大概找到了,在v100上使用fp16会自动起一个GradScaler,虽然能在transformer的trainer库中设置fp16为true,但在GradScaler中无法使用fp16,导致这个问题,训练的精度设置和模型的精度设置无法匹配,感觉像是更高版本的库之间不兼容的问题,暂无法解决,不过可以使用fp32位训练
你是几张V100的卡,效率怎么样?换成fp32后,batchsize设置为1了都会导致OOM
有找到原因么~
大概找到了,在v100上使用fp16会自动起一个GradScaler,虽然能在transformer的trainer库中设置fp16为true,但在GradScaler中无法使用fp16,导致这个问题,训练的精度设置和模型的精度设置无法匹配,感觉像是更高版本的库之间不兼容的问题,暂无法解决,不过可以使用fp32位训练
已经所有bf调成false,fp16开启或不开启loss都会很快变成0 grad_norm爆炸,很奇怪