长文Agent ParallelDocQA每次对话都需要1分钟进行parallel_exec

[maxin9966]

使用了官方的长文agent例子，每次对话输入一个长文档，每次都需要花1分钟时间进行parallel_exec，请问这个60秒可以通过某些方法省略掉吗？：

2024-06-11 02:36:20,808 - parallel_doc_qa.py - 187 - INFO - Parallel Member Num: 142

2024-06-11 02:37:21,754 - parallel_doc_qa.py - 197 - INFO - Finished parallel_exec. Time spent: 60.94510245323181 seconds. 2024-06-11 02:37:28,008 - parallel_doc_qa.py - 105 - INFO - { "keywords_zh": ["了解", "増能", "研习", "活动小组", "实证研究", "互联网", "整合性研究", "ICF", "ICF-CY", "国际交流"], "keywords_en": ["Understanding", "Enhancement", "Workshop", "Activity Group", "Empirical Study", "Internet", "Integrative Study", "ICF", "ICF-CY", "International Exchange"] }

测试使用的代码：

bot = ParallelDocQA(llm=llm_cfg)
messages = [
    {
        'role': 'user',
        'content': [
            {
                'text': "ask",
            },
            {
                'file': f'{path}',
            },
        ]
    },
]

[L9qmzn]

ParallelDocQA是一个相对暴力的解决方案。为了更好的效果，每次LLM都要带着问题重新阅读整个文档，所以这个60秒应该很难省去。 如果你的服务端支持，你可以尝试增加并发数。https://github.com/QwenLM/Qwen-Agent/blob/main/qwen_agent/agents/doc_qa/parallel_doc_qa.py#L194 相对简单的问题，可以试试a fast RAG solution 我实测效果很多时候比使用embedding的rag方案更好。

[datalee]

mark