THUDM / AgentBench

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)
https://llmbench.ai
Apache License 2.0
2.03k stars 138 forks source link

您好,想问下测试中所有的大模型都是如{role:user/assistant,content:},这种格式发送的么 #82

Closed pfx546746447 closed 7 months ago

pfx546746447 commented 7 months ago

如题,如果我想使用自定义的大模型,发送的格式为自定义的格式,不支持role的定义,是否可以完成呢,还是需要修改少量的代码即可完成?

pfx546746447 commented 7 months ago

还有个问题。。我是mac m1 的芯片 构建出来m2w镜像运行后报错: WARNING: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested 这个是怎么改,我查说命令行用--platform 但是这个yaml的怎么加

pfx546746447 commented 7 months ago

还有个问题。。我是mac m1 的芯片 构建出来m2w镜像运行后报错: WARNING: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested 这个是怎么改,我查说命令行用--platform 但是这个yaml的怎么加

dbbench的镜像就没报这个错。。不知道为什么

zhc7 commented 7 months ago

Hi, @pfx546746447

如题,如果我想使用自定义的大模型,发送的格式为自定义的格式,不支持role的定义,是否可以完成呢,还是需要修改少量的代码即可完成?

需要修改少量的代码。具体来讲,可以修改https://github.com/THUDM/AgentBench/blob/main/src/client/agents/http_agent.py或者仿照此重新定义一个Agent Client。

还有个问题。。我是mac m1 的芯片 构建出来m2w镜像运行后报错: WARNING: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested 这个是怎么改,我查说命令行用--platform 但是这个yaml的怎么加

这看起来像是一个docker issue,建议查阅docker的相关文档,我个人用的不是Mac可能没法解答这个问题。