search

shibing624 / text2vec

text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。
https://pypi.org/project/text2vec/
Apache License 2.0
4.48k stars 396 forks source link

目前哪种句子向量与篇章向量比较sota #63

Closed yuanjie-ai closed 1 year ago

yuanjie-ai commented 1 year ago

目前哪种句子向量与篇章向量比较sota

shibing624 commented 1 year ago

CoSENT, SBERT: Sentence-BERT

Dznan commented 1 year ago

如果用CoSENT做篇章搜索，有没有最大的输入文本长度限制？

shibing624 commented 1 year ago

有，受限于backbone的模型，max-length=512