search

THUDM / AgentBench

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)
https://llmbench.ai
Apache License 2.0
2.03k stars 138 forks source link

我想将api接口改为ChatGLM3，我该怎么做 #77

Closed QingChengLineOne closed 7 months ago

QingChengLineOne commented 8 months ago

目前我在本地部署了ChatGLM3，我该怎么在服务器上的AgentBench调用ChatGLM3的API接口

zhc7 commented 8 months ago

Hi, @QingChengLineOne . 一个可行的办法是在服务器上启动task worker和task controller，并且将controller的地址暴露给本地，然后在本地启动一个ChatGLM3的服务器，然后再在本地启动assigner连接到远程的controller和本地的模型。如果实在想在服务器上启动assigner的话，也许需要做内网穿透将内网ip暴露到公网上，然后再从服务器访问。

QingChengLineOne commented 8 months ago

Hi, @QingChengLineOne . 一个可行的办法是在服务器上启动task worker和task controller，并且将controller的地址暴露给本地，然后在本地启动一个ChatGLM3的服务器，然后再在本地启动assigner连接到远程的controller和本地的模型。如果实在想在服务器上启动assigner的话，也许需要做内网穿透将内网ip暴露到公网上，然后再从服务器访问。

有哪些文件需要改吗，可以说的稍微详细一点吗

zhc7 commented 8 months ago

如果是按照前一种方法，可以直接按照tutorial在服务器上启动task server，什么都不需要改，然后想办法把5000端口暴露给本地，本地按照tutorial启动assigner即可，这一步需要把localhost:5000改成服务器。

zhc7 commented 7 months ago

如果仍有问题欢迎重启issue

GlennCGL commented 4 months ago

@zhc7 看不懂，不知道能否出个步骤教程，例如测试本地的chatglm3-6b