THUDM / AgentBench

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)
https://llmbench.ai
Apache License 2.0
2.03k stars 138 forks source link

cg任务没有一条执行成功而且task server没有收到任何信息 #87

Open Jianzhao-Huang opened 7 months ago

Jianzhao-Huang commented 7 months ago

您好,我在复现的时候出现和Issue 64相似的问题。我尝试了所有的task,除了cg任务外其他都可以正常运行。其中值得注意的是,ltp任务需要大量的时间才可以运行完一条数据(在我的环境里大约是10min),所以很容易让人觉得ltp任务也不能正常运行。ltp任务的task server后台是一直都有交互信息的,但cg任务的task server后台没有任何交互信息出现。两个任务都会出现Warning: gpt-3.5-turbo-0613/cg-dev#11 failed with error START_FAILED {"detail":"Error: Worker not responding\n"} None

我使用的是chatGPT3.5的API,并将并发量都设成了1。以下是我配置信息和相关的截图:

default.yaml

import: definition.yaml

concurrency:
  task:
    cg-dev: 1
  agent:
    gpt-3.5-turbo-0613: 1

assignments: # List[Assignment] | Assignment
  - agent: # "task": List[str] | str ,  "agent": List[str] | str
      - gpt-3.5-turbo-0613
    task:
      - cg-dev
output: "outputs/{TIMESTAMP}"

Screenshot 2023-12-19 at 02 03 30

希望能获得您的帮助!

alg-bug-engineer commented 6 months ago

+1