THUDM / AgentBench

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)
https://llmbench.ai
Apache License 2.0
2.01k stars 136 forks source link

游戏任务启动失败[Assistance] #96

Open smartliuhw opened 6 months ago

smartliuhw commented 6 months ago

我想要评测游戏的三个任务,在配置了start_task.yaml后,一直显示task不存在,麻烦问一下可以怎么解决

报错:

image

start_task.yaml

definition:
  import: tasks/task_assembly.yaml

start:
  # dbbench-std: 5
  # os-std: 5
  cg-std: 5
  alfworld-std: 5
  ltp-std: 5

default.yaml

import: definition.yaml

concurrency:
  task:
    # dbbench-std: 5
    # os-std: 5
    cg-std: 5
    alfworld-std: 5
    ltp-std: 5
  agent:
    phi: 5

assignments: # List[Assignment] | Assignment
  - agent: # "task": List[str] | str ,  "agent": List[str] | str
      - phi
    task:
      # - dbbench-std
      # - os-std
      - cg-std
      - alfworld-std
      - ltp-std

output: "outputs/{TIMESTAMP}"
smartliuhw commented 6 months ago
image

看了一下进程,游戏好像都是用docker启动的,但是src.server.task_worker看起来没有启动起来,这个命令后面我去看5001端口是没有被占用的,辛苦老哥有时间帮忙看看 @zhc7

tml2002 commented 6 months ago

+1 同样的问题

zhc7 commented 5 months ago

Hi, @smartliuhw 任务环境应该是由start task脚本启动的,可以看一下这个进程里有没有相应的输出。有些任务启动可能会花一些时间,也可以docker ps看一下是不是所有image都正确启动了。