Closed ADaBenxiong closed 3 years ago
使用roberate_wwm_large_ext会报错CUDA:out of memory, 是因为模型的参数太大导致显存放不下是嘛,用的是10G的显存,请问题主训练使用的显存大小为多大啊
10G的话batchsize=2行了
使用roberate_wwm_large_ext会报错CUDA:out of memory, 是因为模型的参数太大导致显存放不下是嘛,用的是10G的显存,请问题主训练使用的显存大小为多大啊