search

INVOKERer / LoFormer

Other
18 stars 6 forks source link

训练时间和设备 #3

Open planktont opened 3 months ago

planktont commented 3 months ago

您好！请问您是在什么GPU上进行训练的，用了几块呢？从头训练的话大概需要多久呢？

INVOKERer commented 3 months ago

感谢关注，Small和Big模型是在8卡3090（24G）上完成的训练，Large则是8卡V100（32G），时间大概在1周左右。

planktont commented 3 months ago

感谢关注，Small和Big模型是在8卡3090（24G）上完成的训练，Large则是8卡V100（32G），时间大概在1周左右。

谢谢您的回复！

zhangxin-516 commented 2 months ago

Small和Big模型可以在4卡3090（24G）上完成训练吗，如果可以的话这个大概需要多久可以完成。

INVOKERer commented 2 months ago

如果要保持batch size不变应该不行，没记错的话现在Small和Big模型的config显存会占用15-20G（太久远了）。batch size减半少用四张卡的话效果会稍微差点，时间还是一周左右。

zhangxin-516 commented 2 months ago

好的，谢谢您