search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.81k stars 351 forks source link

pretrain进行了设置仍然oom #179

Closed TuuSiwei closed 2 months ago

TuuSiwei commented 2 months ago

up你好，我最近尝试了下https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/model_clm 的代码，batch和gradient accumulation已经进行了相应的设置，但是在A100上仍然会报OOM，排查不出原因><