search

Yuliang-Liu / Monkey

【CVPR 2024 Highlight】Monkey (LMM): Image Resolution and Text Label Are Important Things for Large Multi-modal Models
MIT License
1.82k stars 128 forks source link

关于训练设置的问题 #136

Closed cpystan closed 1 month ago

cpystan commented 1 month ago

训练默认的batch_size似乎是8？请问在哪里调整batchsize。 另外在traning_args里的model_max_length为8192。可以通过减小这个设置，在一定程度上减少现存，和加快速度嘛？ 谢谢！

echo840 commented 1 month ago

image 您好，默认的batch size是1，八张卡global batch size是8，通过减小model_max_length不太能减少显存，如果数据中的最大长度没有到达您所设置的model_max_length的话。