search

stanleylsx / entity_extractor_by_ner

基于Tensorflow2.3开发的NER模型，都是CRF范式，包含Bilstm(IDCNN)-CRF、Bert-Bilstm(IDCNN)-CRF、Bert-CRF，可微调预训练模型，可对抗学习，用于命名实体识别，配置后可直接运行。
390 stars 73 forks source link

内存消耗较大，出现内存交换 #28

Closed tyn513 closed 2 years ago

tyn513 commented 2 years ago

Allocation of 12826795200 exceeds 10% of free system memory.

我这里用200M左右的数据做的训练，60M做dev，batch_size已经搞得很小了。

请问代码里有什么办法或者参数可以解决吗？

感谢！

tyn513 commented 2 years ago

用的CPU