search

netease-youdao / BCEmbedding

Netease Youdao's open-source embedding and reranker models for RAG products.
Apache License 2.0
1.3k stars 85 forks source link

想问一下关于评测的内容。 #37

Closed Gcstk closed 4 months ago

Gcstk commented 4 months ago

请问目前评测中文数据时，使用的chunk是多少？使用gpt4构造出来的Q和reference_context是强相关关系嘛？因为在我们私有评测数据集下效果没有这么出众呢？

shenlei1020 commented 4 months ago

感谢对bce模型的关注～ 1、数据构造方式是：https://github.com/netease-youdao/BCEmbedding/tree/master?tab=readme-ov-file#3-broad-domain-adaptability 参考llamaIndex博客的评测方式（目前rag一般都这么做，试一下就知道是否科学） 2、bce reranker社区反馈很不错的。如果您的场景效果无法满足需求，可以尝试别的模型试试，真实效果以自己场景实测为准。