yuanzhoulvpi2017 / quick_sentence_transformers

sentence-transformers to onnx 让sbert模型推理效率更快
MIT License
161 stars 30 forks source link

这个批量跑数据会占用大量内存吗? #1

Open ScottishFold007 opened 2 years ago

ScottishFold007 commented 2 years ago

这个批量跑数据会占用大量内存吗?比如类似sentence_transformers的batch-size的设置,来跑大量数据?

yuanzhoulvpi2017 commented 2 years ago

目前测试来说,要比pytorch版本要好一点

yuanzhoulvpi2017 commented 2 years ago

大佬如果需要进一步了解,可以加我微信沟通一下,微信号:yuanzhoulvpi_god