search

NLPJCL / RAG-Retrieval

Unify Efficient Fine-tuning of RAG Retrieval, including Embedding, ColBERT,Cross Encoder
MIT License
440 stars 38 forks source link

微调BCEmbedding是否也应该使用XLMroberta #5

Closed YiboZhao624 closed 5 months ago

YiboZhao624 commented 5 months ago

在Reranker文件下的README中您指出了微调BCERanker这样的多语言模型的时候，需要使用XLMroberta的配置文件，那BCEmbedding也是同样是多语言的，是否也应该使用XLMroberta配置呢？

NLPJCL commented 5 months ago

是的，因为BCEmbedding也是在XLMRobertaModel的基础上训练而来，因此需要使用XLMroberta的配置。 其实就是，使用fsdp训练时，需要设置fsdp_transformer_layer_cls_to_wrap: XLMRobertaLayer。