多卡并行的训练方法只用1张卡测试，max_seq_len 1024, batch_size 1还是会内存不够，用的3090~~~

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)

MIT License

2.95k stars 363 forks source link

Closed Rorschaaaach closed 1 year ago

Rorschaaaach commented 1 year ago

开到max_seq_len 512, batch_size 1占用达到了21g，是因为清华修改了他们的代码跟模型嘛？

yuanzhoulvpi2017 commented 1 year ago

哪一个文件夹下面的代码，报给我一下

yuanzhoulvpi2017 commented 1 year ago

目前，已经更新了代码，再试一试