FlagOpen / FlagEmbedding

Retrieval and Retrieval-augmented LLMs
MIT License
7.5k stars 540 forks source link

llm-embedder怎样支持中文 #305

Open ChanChiChoi opened 11 months ago

ChanChiChoi commented 11 months ago

请给点思路提示呢

namespace-Pt commented 11 months ago

你好,中文数据比较有限,qa方面可以考虑使用dureader,memory可以考虑使用language modeling的数据集,in-context learning这块我也不太清楚有没有优质的数据,tool和conversational search同样缺少开源数据。