Closed sunshineflg closed 6 months ago
模型训练时使用的batch size是4M,这个4M是400万吗?一个batch,用400万example?
这里的batch是以token来计数,不是example数量。
那每个sample是多少token?
Thanks for clarify 🤣
Feature request / 功能建议