FlagOpen / FlagEmbedding

Retrieval and Retrieval-augmented LLMs
MIT License
7.44k stars 534 forks source link

指令对sentence embedding生成为什么有效,尤其是在针对短query增加指令? #187

Open stewnn-alt opened 1 year ago

staoxiao commented 1 year ago

训练的时候为检索任务加上了一个固定的指令,模型学会了这种模式,当前缀是这个指令和不是这个指令情况下,会区别对待。类似于MOE多专家网络。