Open toomanyopenfiles opened 1 year ago
对于在summary过程中被截断的情况，标注出是否被截断有助于用户参考是否需要进一步阅读原文。
另外，LangChain也给出了除了简单截断之外的两种summary方法：map_reduce和refine，我简单测试的结果是对于长文来说map_reduce可能会压缩信息，但基本不会发生截断，refine可能会发生超出上下文的截断，但如果没有超出上下文，refine的信息会比map_reduce更丰富。
具体方法参考： https://python.langchain.com/en/latest/modules/chains/index_examples/summarize.html https://docs.langchain.com/docs/components/chains/index_related_chains
对于在summary过程中被截断的情况，标注出是否被截断有助于用户参考是否需要进一步阅读原文。
另外，LangChain也给出了除了简单截断之外的两种summary方法：map_reduce和refine，我简单测试的结果是对于长文来说map_reduce可能会压缩信息，但基本不会发生截断，refine可能会发生超出上下文的截断，但如果没有超出上下文，refine的信息会比map_reduce更丰富。
具体方法参考： https://python.langchain.com/en/latest/modules/chains/index_examples/summarize.html https://docs.langchain.com/docs/components/chains/index_related_chains