Open Tomorrowxxy opened 1 year ago
你使用的是chat接口是么?这个和网络有关,每次请求需要请求远端代码 建议使用下面高级参数配置方式,下载到本地使用
是本地的使用的,在一台v100的机器上,使用了cuda,请求多了就会触发响应慢,或者不响应。在之前v1版本不会。 gpu占用率在19%左右,机器运行正常,就是推理变得很慢了。
你使用的是chat接口是么?这个和网络有关,每次请求需要请求远端代码 建议使用下面高级参数配置方式,下载到本地使用