如何避免BERT模型内存过大的问题

chenxiaoyouyou / Bert-BiLSTM-CRF-pytorch

使用谷歌预训练bert做字嵌入的BiLSTM-CRF序列标注模型

MIT License

458 stars 100 forks source link

Open floAlpha opened 5 years ago

floAlpha commented 5 years ago

    self.embed = BertModel.from_pretrained('./bert-base-uncased')  # bert 预训练模型

这样做应该是吧整个BERT视作了Embed层，我在训练时使用了Bert的768维的词向量，导致内存占用非常高，50G+，请问有什么方法可以避免占用过大的内存吗，譬如直接使用词嵌入而不嵌入整个模型？

chenxiaoyouyou commented 5 years ago

使用整个bert做词嵌入的话就是就会很大，除了降低序列长度和batch_size我也不知道咋办，可以考虑仅仅使用bert的embedding层，我没试过，仅供参考

napoler commented 4 years ago

albert吧

ysgncss commented 4 years ago

请问单字符标签怎么表示? 没有 S tag?