search

macanv / BERT-BiLSTM-CRF-NER

Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning And private Server services
https://github.com/macanv/BERT-BiLSMT-CRF-NER
4.68k stars 1.25k forks source link

分享一个bert服务端基于tfserving的构建思路 #340

Open lvjianjin opened 4 years ago

lvjianjin commented 4 years ago

本文作者采用flask+bert-as-serving的方式构建服务端，但是本人经过测试发现，在这个架构中在并发数量过大的情况下会出现服务端报错直接导致服务端崩溃，而不是排队等待处理。故，本人在这里跟大家分享一个以tfserving的方式构建bert模型的案例，详情请参见https://www.jianshu.com/p/383129b2bf7f

macanv commented 4 years ago

很好的工作,也可以看下简单的flask http服务化的demo： https://github.com/macanv/BERT-BiLSTM-CRF-NER/blob/master/bert_base/server/simple_flask_http_service.py