macanv / BERT-BiLSTM-CRF-NER

Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning And private Server services
https://github.com/macanv/BERT-BiLSMT-CRF-NER
4.68k stars 1.25k forks source link

推理任务密集时服务的处理方式? #332

Open BingoDorma opened 4 years ago

BingoDorma commented 4 years ago

您好,感谢您的项目,带给我很大的便利。同时在使用过程中,我有几个问题希望能请教您一下。

  1. 文本分类服务,某次推理时,我批量传入了2k+的数据,但在一段时间后只返回了1k条结果。这种情况是怎么造成的,我需要如何优化?
  2. 在readme中我看到ner-service启动时可以指定num_works.这个参数是指进程数吗?我在class mode下可以使用此参数吗? 感谢您的耐心解答。