Open song4875343 opened 1 year ago
'shibing624/text2vec-base-chinese'是huggingface下载量超高的一个中文库,比sbert 的那个多语言库准确度高很多,看不到你说的两部分,sentence_transform 也支持,有办法加速吗
用你的库建立索引,如果数量比较小2k一下就运行很好,超过2k就会锁死,以前我用python从没出现过这种情况,32g内存。不用你的fast选项用一般的就正常。是因为爆内存了吗,是不是分批次encode 然后用faiss的增量方法能解决。能处理一下这个bug吗?
'shibing624/text2vec-base-chinese'是huggingface下载量超高的一个中文库,比sbert 的那个多语言库准确度高很多,看不到你说的两部分,sentence_transform 也支持,有办法加速吗