Open Copilot-X opened 3 years ago
就是数据问题,显示没数据。。。
就是数据问题,显示没数据。。。
苏老师,看了代码发现了我参数设置的问题; batch-size 比 grad_accum_steps的值小,导致后面的数据一直为0;
还有个疑问,看了您的batch-size设置为4096,这么大的batch-size,是用TPU来训练的吗?如果是24G的GPU显卡,那么相对应得batch-size 和 grad_accum_steps 这两个值都设为 8(这样设置可以?)
提问时请尽可能提供如下信息:
基本信息
核心代码
输出信息
自我尝试
不管什么问题,请先尝试自行解决,“万般努力”之下仍然无法解决再来提问。此处请贴上你的努力过程。 切换过很多版本,但是没有试用正确,头皮发麻,望大佬指导一下