FlagOpen / FlagEmbedding

Retrieval and Retrieval-augmented LLMs
MIT License
7.34k stars 530 forks source link

请教两个细节问题 #364

Open mechigonft opened 10 months ago

mechigonft commented 10 months ago

1、用来预训练bge-large-zh-1.5的基座模型是什么? 2、有什么推荐的,比较好的中文bert类模型,用来替换基座模型预训练,提高在中文领域的embedding和reranker效果?

mechigonft commented 10 months ago

reranker的基座模型是:xlm-roberta-base,有什么推荐的,比较好的中文bert类模型,用来替换它然后重新预训练reranker模型?

staoxiao commented 10 months ago
  1. 是https://huggingface.co/hfl/chinese-roberta-wwm-ext-large
  2. 可以试试百度的ernie系列,https://huggingface.co/docs/transformers/model_doc/ernie
mechigonft commented 10 months ago

好的,感谢