search

netease-youdao / BCEmbedding

Netease Youdao's open-source embedding and reranker models for RAG products.
Apache License 2.0
1.35k stars 90 forks source link

除了示例里给出的，能否对接其他参数规模更大的大语言模型 #18

Closed fredfany closed 6 months ago

fredfany commented 7 months ago

如题，如Qwen-72B，能否进行对接，谢谢 https://github.com/QwenLM/Qwen

shenlei1020 commented 7 months ago

不明白您的需求。 1、本项目是RAG中的二阶段检索算法模型embedding和reranker，bert类模型，用来提取文本语义向量，做检索的。 2、大模型Qwen可以作为RAG后面的问答大模型，两者是RAG的两个组成部分，不是一个东西。

fredfany commented 7 months ago

抱歉没有说清楚，这里想要了解的是类似Qwen-7B这样的问答大模型。也就是下面说的LLM大模型，想了解：

  1. 这里面介绍的大模型哪个性能最强（参数规模最大，通用泛化能力最强）
  2. 除了这个里面列举的模型，能否支持其他的大语言模型 https://github.com/netease-youdao/QAnything/blob/master/docs/QAnything_Startup_Usage_README.md#supported-pulic-llm-using-fastchat-api-with-huggingface-transformersvllm-runtime-backend
shenlei1020 commented 7 months ago

了解了，本项目不是问答大模型，如果想了解问答大模型，可以看一下Qwen。我们的QAnything是基于Qwen微调的。 QAnything链接的大模型是离线部署场景，考虑pc端的显卡限制，所以都是小模型。

fredfany commented 7 months ago

好的，非常感谢1