Open floAlpha opened 5 years ago
self.embed = BertModel.from_pretrained('./bert-base-uncased') # bert 预训练模型
这样做应该是吧整个BERT视作了Embed层,我在训练时使用了Bert的768维的词向量,导致内存占用非常高,50G+,请问有什么方法可以避免占用过大的内存吗,譬如直接使用词嵌入而不嵌入整个模型?
使用整个bert做词嵌入的话就是就会很大,除了降低序列长度和batch_size我也不知道咋办,可以考虑仅仅使用bert的embedding层,我没试过,仅供参考
albert吧
请问单字符标签怎么表示? 没有 S tag?
这样做应该是吧整个BERT视作了Embed层,我在训练时使用了Bert的768维的词向量,导致内存占用非常高,50G+,请问有什么方法可以避免占用过大的内存吗,譬如直接使用词嵌入而不嵌入整个模型?