Open ooolky opened 6 months ago
根据官方文档 ，torchserve 对于视频流预测有两种方案： 1.客户端一个请求包含一帧，在服务端将多个请求的帧合并成 batch 再预测。 2.客户端一个请求包含多帧，相当于一个请求一个batch，服务端收到单个请求后直接整个 batch 预测。 第一个方案只需要修改服务端配置文件，无需赘述。 第二个方案实现时需要修改模型对应的 handler，参考官方的分类模型视频流预测案例和 yolo8 目标检测案例，需要特别注意的是，由于不知名原因，yolo8 的视频流预测的 handler 中， postprocess 返回的结果必须用 [ ] 修饰，不然会报错 number of batch response mismatched，类似于案例 。
number of batch response mismatched
根据官方文档 ，torchserve 对于视频流预测有两种方案： 1.客户端一个请求包含一帧，在服务端将多个请求的帧合并成 batch 再预测。 2.客户端一个请求包含多帧，相当于一个请求一个batch，服务端收到单个请求后直接整个 batch 预测。 第一个方案只需要修改服务端配置文件，无需赘述。 第二个方案实现时需要修改模型对应的 handler，参考官方的分类模型视频流预测案例和 yolo8 目标检测案例，需要特别注意的是，由于不知名原因，yolo8 的视频流预测的 handler 中， postprocess 返回的结果必须用 [ ] 修饰，不然会报错
number of batch response mismatched，类似于案例 。