predict接口 cpu下推理速度比GPU下快

stanleylsx / entity_extractor_by_ner

基于Tensorflow2.3开发的NER模型，都是CRF范式，包含Bilstm(IDCNN)-CRF、Bert-Bilstm(IDCNN)-CRF、Bert-CRF，可微调预训练模型，可对抗学习，用于命名实体识别，配置后可直接运行。

390 stars 73 forks source link

Closed STHSF closed 2 years ago

STHSF commented 2 years ago

请教一个问题，predict.py代码在cpu下的性能压测竟然比GPU下快，不知道楼主有没有遇到过，谢谢。

stanleylsx commented 2 years ago

请教一个问题，predict.py代码在cpu下的性能压测竟然比GPU下快，不知道楼主有没有遇到过，谢谢。

predict_one函数是单个单个的处理每个句子，每个句子处理在CPU，然后输入模型的batch_size是1，GPU利用效率不高，这个接口是用来简单测试模型效果的，不建议作为预测接口使用哈。如果需要线上部署，建议保存为pb格式然后使用tf-servering提供服务。