search

shibing624 / text2vec

text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。
https://pypi.org/project/text2vec/
Apache License 2.0
4.36k stars 391 forks source link

关于BGE的蒸馏问题 #137

Open hgwu4869 opened 9 months ago

hgwu4869 commented 9 months ago

请问text2vec-bge-large-chinese这个模型，是基于BGE做知识蒸馏得到的吗？ 如果是的话，请问能提供蒸馏这部分的代码吗？ 虽然已经给出参考了的sentence transformer的哪部分代码，但如果有直接可run的代码会更方便些。

shibing624 commented 9 months ago
  1. 不是蒸馏，是二次训练，发现bge对短文本相似度给分普遍较高，故针对短文本，用cosent方法在sts-b-zh数据集上训练后得到的；
  2. sentence transformer里面有示例，可以直接跑
hgwu4869 commented 9 months ago

好的，在README里BGE和模型蒸馏连在一起，所以误解了。 那么请问README里，如下图所示的模型蒸馏这部分是想说明什么呢？在该项目里有知识蒸馏相关的代码示例能直接跑吗？

text2vec-bge-模型蒸馏