FlagOpen / FlagEmbedding

Retrieval and Retrieval-augmented LLMs
MIT License
7.32k stars 532 forks source link

fine-tuning第一阶段正负样本选取问题 #234

Open erichuang24 opened 12 months ago

erichuang24 commented 12 months ago

您好,请问下fine-tuning第一阶段的unlabel的数据集,正样本是自己,负样本是随机在batch里面选取的吗?看到readme中还说了用text2vec进行简单负样本的过滤,好像这一阶段在代码里面没有体现,具体的论文中好像也没看到。

staoxiao commented 12 months ago

正样本是从原始数据中构造的,比如query是title, 正样本是正文,负样本使用了batch里的所有其他样本。使用text2vec做了简单的阈值过滤,具体参考:https://github.com/FlagOpen/FlagEmbedding/blob/master/FlagEmbedding/baai_general_embedding/README.md#21-unsupervised-pairs

seanzhang-zhichen commented 12 months ago

正样本是从原始数据中构造的,比如query是title, 正样本是正文,负样本使用了batch里的所有其他样本。使用text2vec做了简单的阈值过滤,具体参考:https://github.com/FlagOpen/FlagEmbedding/blob/master/FlagEmbedding/baai_general_embedding/README.md#21-unsupervised-pairs

生成的unsupervised pairs是三元组格式的吗?

staoxiao commented 12 months ago

是的

seanzhang-zhichen commented 12 months ago

意思是2.1阶段生成的是低质量的三元组,2.2阶段生成的是高质量的三元组?

staoxiao commented 12 months ago

是的

seanzhang-zhichen commented 11 months ago

是的

谢谢大佬解答