search

yuanzhoulvpi2017 / quick_sentence_transformers

sentence-transformers to onnx 让sbert模型推理效率更快
MIT License
161 stars 30 forks source link

这个批量跑数据会占用大量内存吗？ #1

Open ScottishFold007 opened 2 years ago

ScottishFold007 commented 2 years ago

这个批量跑数据会占用大量内存吗？比如类似sentence_transformers的batch-size的设置，来跑大量数据？

yuanzhoulvpi2017 commented 2 years ago

目前测试来说，要比pytorch版本要好一点

yuanzhoulvpi2017 commented 2 years ago

大佬如果需要进一步了解，可以加我微信沟通一下，微信号：yuanzhoulvpi_god