sentence-transformers/bge-base-zh-v1.5/ directory

IAAR-Shanghai / CRUD_RAG

CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models

https://arxiv.org/abs/2401.17043

238 stars 20 forks source link

sentence-transformers/bge-base-zh-v1.5/ directory #26

Open jeremycp3 opened 4 days ago

jeremycp3 commented 4 days ago

我把下载好模型放到了/home/project/CRUD_RAG/sentence-transformers/bge-base-zh-v1.5/目录下，出现以下报错，请问应该放到哪里？

jeremycp3 commented 4 days ago

请问你用的是这个embedding吗？https://huggingface.co/BAAI/bge-base-zh-v1.5 如果是这个的话，embedding_name 命名为sentence-transformers/bge-base-zh-v1.5 会导致huggingface不认识这个name

jeremycp3 commented 4 days ago

1731252776448

请问在运行过程中有这种警告是正常的吗

haruhi-sudo commented 3 days ago

请问在运行过程中有这种警告是正常的吗

你好，似乎不太正常。看起来模型没有正确生成内容。建议定位到具体哪行代码出了错误

jeremycp3 commented 3 days ago

请问在运行过程中有这种警告是正常的吗

你好，似乎不太正常。看起来模型没有正确生成内容。建议定位到具体哪行代码出了错误

我怀疑是不是因为我用的是qwen-7B-chat，我现在切换成了1.0版本的qwen-7B，我再测试一下看看效果。我想再请问一下QuestEval中只能用GPT吗，我切换成qwen好像不能work。

haruhi-sudo commented 3 days ago

请问在运行过程中有这种警告是正常的吗

你好，似乎不太正常。看起来模型没有正确生成内容。建议定位到具体哪行代码出了错误

我怀疑是不是因为我用的是qwen-7B-chat，我现在切换成了1.0版本的qwen-7B，我再测试一下看看效果。我想再请问一下QuestEval中只能用GPT吗，我切换成qwen好像不能work。

应该和chat版本无关，我们测试的就是chat版本，可以正常运行
目前只支持gpt，如果想修改成其他大模型，需要对代码进行比较大的改动

jeremycp3 commented 3 days ago

在我将--num_threads 改成1之后就没有上述警告了，但是生成的overall结果只有这么多，比文章中低很多，请问应该怎么解决呢？

haruhi-sudo commented 2 days ago

在我将--num_threads 改成1之后就没有上述警告了，但是生成的overall结果只有这么多，比文章中低很多，请问应该怎么解决呢？

确认你使用的模型是chat版本而不是base版本
参考这个issue: https://github.com/IAAR-Shanghai/CRUD_RAG/issues/17