Open Ariel-lu opened 5 months ago
我将模型用到长度为400的文本数据上，训练速度变得很慢，跑一个epoch用的时间大概是原来的五六倍，想请教一下这是因为模型太复杂了吗，怎样可以减小开销，还是随着句子长度增加训练时间本来就会成倍增长？以及我用4090 24gb的卡跑，NYT的batch_size仍然只能跑到6，不然显存不够，请问是我的设置有问题吗？
我将模型用到长度为400的文本数据上，训练速度变得很慢，跑一个epoch用的时间大概是原来的五六倍，想请教一下这是因为模型太复杂了吗，怎样可以减小开销，还是随着句子长度增加训练时间本来就会成倍增长？以及我用4090 24gb的卡跑，NYT的batch_size仍然只能跑到6，不然显存不够，请问是我的设置有问题吗？