search

HKUDS / LightRAG

"LightRAG: Simple and Fast Retrieval-Augmented Generation"
https://arxiv.org/abs/2410.05779
MIT License
9.22k stars 1.13k forks source link

我测试发现即使是在专业的知识领域，使用lightrag模型回答的准确率似乎不如让LLM直接给出答案。 #277

Open sunzhaoyang1 opened 1 week ago

sunzhaoyang1 commented 1 week ago

我首先构建了医学领域的知识图谱，然后使用本地题库进行了测试，结果发现使用rag的结果不如没使用rag，过长的上下文似乎会导致LLM回答准确率降低，使用的LLM是deepseek chat，不知道是不是正常的现象。

zzzcccxx commented 2 days ago

我觉得对通用问题的话这种情况是合理的，因为召回的知识中肯定存在着与该问题不直接相关的描述，导致还不如直接使用LLM对话。

sunzhaoyang1 commented 2 days ago

我觉得对通用问题的话这种情况是合理的，因为召回的知识中肯定存在着与该问题不直接相关的描述，导致还不如直接使用LLM对话。

好的谢谢，我的数据是医疗方面的数据，感觉直接使用LLM的准确率要高一点。