报错：内存溢出Segmentation fault (core dumped)？

lonePatient / BERT-NER-Pytorch

Chinese NER(Named Entity Recognition) using BERT(Softmax, CRF, Span)

MIT License

2.08k stars 427 forks source link

Open topDreamer opened 4 years ago

topDreamer commented 4 years ago

您好！我在clone代码按照步骤运行的时候，报了代码溢出的错误，截图如下，请教下该如何让解决呢，非常感谢：

yanshanjing commented 4 years ago

可能是pytorch 版本和下载的预训练模型版本不一致；最新从 huggfaace 下载的模型用 pytorch 1.3 会出现上面错误，换成 1.5 可正常运行。

paulpig commented 4 years ago

我遇到的是因为sentencepiece的版本问题，修改sentencepiece为0.1.83就能解决. pip install sentencepiece==0.1.83

lvjiujin commented 3 years ago

我遇到的是因为sentencepiece的版本问题，修改sentencepiece为0.1.83就能解决. pip install sentencepiece==0.1.83

我不装sentencepiece,也是ok的，实际上bert用的不是sentencepiece包含的BPE和unigram,而是wordpiece,而wordpiece，sentencepiece并没有包含。

lvjiujin commented 3 years ago

我遇到的是因为sentencepiece的版本问题，修改sentencepiece为0.1.83就能解决. pip install sentencepiece==0.1.83

my pytorch is 1.8 gpu.