THUDM / AgentBench

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)
https://llmbench.ai
Apache License 2.0
2.01k stars 136 forks source link

Card_Game这个任务跑不起来 #121

Open yupeijei1997 opened 4 months ago

yupeijei1997 commented 4 months ago

环境:liunx

问题描述: 我和其他issue遇到了同样的问题,在运行几分钟后,最终会在controller中报出错误,Error: Worker not responding 我给启动task的docker命令里加了-it,并把docker中的输出打印了出来,发现会卡在returning处,如下图

企业微信截图_a0e53c50-5a19-4fbd-9419-bc9fbd20f050

辛苦有空检查下这个任务是否能够正常运行

配置: start_task.yaml

definition:
  import: tasks/task_assembly.yaml

start:
    cg-std: 1

default.yaml

import: definition.yaml

concurrency:
  task:
    cg-std: 1
  agent:
    gpt-3.5-turbo-0613: 1

assignments: # List[Assignment] | Assignment
  - agent: # "task": List[str] | str ,  "agent": List[str] | str
      - gpt-3.5-turbo-0613
    task:
      - cg-std

output: "outputs/{TIMESTAMP}"

并发设置的都是1,worker也能正常启动,其他几个任务都能够正常运行

zhc7 commented 4 months ago

Hi, @yupeijei1997 这个任务确实存在一些已知问题,目前还没有找到原因。可能的原因包括:使用了Windows而不是Linux;某些依赖没有满足或版本不正确(不只是python依赖);card game配置不正确;端口占用;程序正在运行只不过返回时间较长。可以尝试重启或者加大worker等。如果实在不行也可以优先使用其他任务环境。

yupeijei1997 commented 4 months ago

Hi, @yupeijei1997 这个任务确实存在一些已知问题,目前还没有找到原因。可能的原因包括:使用了Windows而不是Linux;某些依赖没有满足或版本不正确(不只是python依赖);card game配置不正确;端口占用;程序正在运行只不过返回时间较长。可以尝试重启或者加大worker等。如果实在不行也可以优先使用其他任务环境。

好的,谢谢~

zhc7 commented 4 months ago

Hi, @yupeijei1997 #123 可以解决你的问题吗?可以pull一下最新的仓库再试试

matinaghaei commented 1 week ago

Hi, I also have the same issue. I'm using Ubuntu and I followed all the instructions. I'm wondering if anyone has been able to fix this issue or if anyone has successfully executed the card game. Thanks!