yuanzhoulvpi2017 / quick_sentence_transformers

sentence-transformers to onnx 让sbert模型推理效率更快
MIT License
161 stars 30 forks source link

如何进行线上部署呢 #5

Open lihuicong opened 1 year ago

lihuicong commented 1 year ago

我有一个fine-tune之后的模型,包括了transformer、pooling以及dense三部分,这样子转换的话,只有transformer部分可以转换为onnx格式,剩下的pooling、dense部分还是不变,那我怎么在线上进行部署呢,只部署transformer部分的话,是不够的