search

ShannonAI / service-streamer

Boosting your Web Services of Deep Learning Applications.
Apache License 2.0
1.23k stars 186 forks source link

tensorflow serving batching #8

Closed zhongbin1 closed 4 years ago

zhongbin1 commented 5 years ago

nice work! 不知道有没有与tensorflow serving batching做过性能对比？

Meteorix commented 5 years ago

你好~感谢你的第一个issue

service-streamer是一个中间件，适用于TensorFlow/PyTorch和不同web server之间的组合。与tf-serving比的话，变量太多，不太有说服力。不过我们晚点会拿同一个BERT模型，做一下benchmark，仅供参考

zhongbin1 commented 5 years ago

ok，先学习一波源码。

nlp4whp commented 5 years ago

你好~感谢你的第一个issue

service-streamer是一个中间件，适用于TensorFlow/PyTorch和不同web server之间的组合。与tf-serving比的话，变量太多，不太有说服力。不过我们晚点会拿同一个BERT模型，做一下benchmark，仅供参考

🙏，还想问下性能测试用的模型的max_seq_len是多少呢

Meteorix commented 5 years ago

@nlp4whp 你好，我们用的max_seq_len=64，bert-base做的benchmark

skywindy commented 5 years ago

请问一下像tensorflow 如果用这种预测方式是否就没法直接用您这个包了 pred_ids_result = self.sess.run([self.pred_ids], feed_dict)