Msra训练NER,报cuda 内存满了？

fastnlp / fastNLP

fastNLP: A Modularized and Extensible NLP Framework. Currently still in incubation.

https://gitee.com/fastnlp/fastNLP

Apache License 2.0

3.05k stars 451 forks source link

Open wanlipeng opened 3 years ago

wanlipeng commented 3 years ago

你好，我在用Msra数据训练NER任务时，batchsize＝8时训练就报cuda内存错误，batchsize＝4可正常训练，就是训练迭代次数特别多，使用四GPU2080显卡也是这样问题，分布训练也太慢了，想问下，Msra数据这么吃内存吗，有更好的办法解决没，求教？

yhcc commented 3 years ago

你用BERT的么？如果是BERT的话还算正常。MSRA中印象中有sample长度达到了1000+，一般是把它按照逗号拆分成更短的句子，或者就删除这个句子。

wanlipeng commented 3 years ago

好的，感谢感谢！