search

QwenLM / Qwen-Agent

Agent framework and applications built upon Qwen2, featuring Function Calling, Code Interpreter, RAG, and Chrome extension.
https://pypi.org/project/qwen-agent/
Other
2.51k stars 249 forks source link

长文本分段处理 #218

Open linnnff opened 6 days ago

linnnff commented 6 days ago

我有一个长度为100k token的长文本，现在我需要每5k总结一次，我该怎么做

chenk-gd commented 6 days ago

好像直接用Assistant就可以，参考assistant_rag.py, 设置一下rag_cfg的‘parser_page_size’参数。

linnnff commented 5 days ago

好像直接用Assistant就可以，参考assistant_rag.py, 设置一下rag_cfg的‘parser_page_size’参数。 这更多是用RAG进行检索总结，是针对全文，我需要的是100k token的长文本，现在我需要每5k总结一次，输出20条结果。