Closed flowermlh closed 9 months ago
模型推理
Chinese-LLaMA-2 (7B/13B)
Linux
# 请在此处粘贴运行代码(请粘贴在本代码块里)
llama基于知识问答时,能够携带的上下文token数量有限,怎么让llama学会并记住整个文档的内容呢。 现在langchain也是把文档分片,llama只是把跟问题相关的知识放到上下文作为背景。 这种只能回答很简单的很局部的小问题。怎么让llm学习整个文档呢。求各位大佬交流讨论。
# 请在此处粘贴依赖情况(请粘贴在本代码块里)
无
# 请在此处粘贴运行日志(请粘贴在本代码块里)
提交前必须检查以下项目
问题类型
模型推理
基础模型
Chinese-LLaMA-2 (7B/13B)
操作系统
Linux
详细描述问题
llama基于知识问答时,能够携带的上下文token数量有限,怎么让llama学会并记住整个文档的内容呢。 现在langchain也是把文档分片,llama只是把跟问题相关的知识放到上下文作为背景。 这种只能回答很简单的很局部的小问题。怎么让llm学习整个文档呢。求各位大佬交流讨论。
依赖情况(代码类问题务必提供)
无
运行日志或截图
无