search

yuanzhoulvpi2017 / quick_sentence_transformers

sentence-transformers to onnx 让sbert模型推理效率更快
MIT License
161 stars 30 forks source link

如何进行线上部署呢 #5

Open lihuicong opened 1 year ago

lihuicong commented 1 year ago

我有一个fine-tune之后的模型，包括了transformer、pooling以及dense三部分，这样子转换的话，只有transformer部分可以转换为onnx格式，剩下的pooling、dense部分还是不变，那我怎么在线上进行部署呢，只部署transformer部分的话，是不够的