tesla V100 跑xlarge模型OOM

brightmart / albert_zh

A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS, 海量中文预训练ALBERT模型

https://arxiv.org/pdf/1909.11942.pdf

3.94k stars 753 forks source link

Open hejunqing opened 4 years ago

hejunqing commented 4 years ago

介绍中说xlarge模型只有bert_base模型二分之一大小，bert_base只需要10G的显卡，而xlarge模型在V100上竟然OOM，请问是不是模型有问题？xlarge模型需要多大的显存？

JQIANG125 commented 4 years ago

oom和batch size和length有关，我p100可以跑32batch 64length，再多就可能出问题