THUDM / AgentBench

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)
https://llmbench.ai
Apache License 2.0
2.01k stars 136 forks source link

[Bug/Assistance] 测试os-std任务,提示Message: 0 samples remaining. #113

Closed 13416157913 closed 5 months ago

13416157913 commented 5 months ago

启动方式: 1、python -m src.start_task -a 2、python -m src.assigner image image

zhc7 commented 5 months ago

Hi, @13416157913 有可能是因为指定的输出文件夹里已经包含了全部的测试结果,框架不会重复测试。如果想要重新跑的话,可以尝试换一个输出路径。

13416157913 commented 5 months ago

因为指定的输出文件夹里已经包含了

os-std输出文件目录已经删除了,再运行的代码的;

zhc7 commented 5 months ago

可以看一下你的配置文件吗?

13416157913 commented 5 months ago

可以看一下你的配置文件吗?

assignments:

13416157913 commented 5 months ago

可以看一下你的配置文件吗?

您好,请问是什么原因,os任务提示Message: 0 samples remaining. db任务能正常运行。

13416157913 commented 5 months ago

可以看一下你的配置文件吗?

问题已解决,是配置问题。