Closed anjisZhou closed 1 month ago
像searxngs搜索时只能拿到网页的简短描述,以及标题原始链接等,做增强检索时,目前是使用网页的简短描述丢给LLM进行汇总分析吗,还是会去分析完整网页,然后讲网页完整内容丢给大模型进行分析呢
我觉得简单的方法是:1,提供给完整的网页内容(或者用AI对每个网页都总结一下,再汇总),2,优化Prompt。目前这个项目只是传了简短描述,主要是考虑上下文长度和tokens消耗。实现方面没什么难点,也就是接大模型API的话多消耗些tokens。
了解啦,谢谢,我最近也在研究这一块,你这项目很棒,是一个很不错的学习例子
像searxngs搜索时只能拿到网页的简短描述,以及标题原始链接等,做增强检索时,目前是使用网页的简短描述丢给LLM进行汇总分析吗,还是会去分析完整网页,然后讲网页完整内容丢给大模型进行分析呢