search

QwenLM / Qwen-Agent

Agent framework and applications built upon Qwen>=2.0, featuring Function Calling, Code Interpreter, RAG, and Chrome extension.
https://pypi.org/project/qwen-agent/
Other
3.21k stars 312 forks source link

创建Agent时llm_config有限制输入文本长度的参数吗，如果有的话限制长度能否提升响应速度 #354

Open Samsogo opened 1 week ago

JianxinMa commented 1 week ago

可以限制。能否提升响应速度要还取决于其他很多因素，说不准。

llm_cfg = {
    'model': 'qwen-max',
    'model_server': 'dashscope',
    'generate_cfg': {
        'max_input_tokens': 4000,  # 这里！
    }
}
Samsogo commented 1 week ago

可以限制。能否提升响应速度要还取决于其他很多因素，说不准。

llm_cfg = {
    'model': 'qwen-max',
    'model_server': 'dashscope',
    'generate_cfg': {
        'max_input_tokens': 4000,  # 这里！
    }
}

好的 试下 感谢