Open funny000 opened 1 month ago
谢谢作者,是低并发降低推理延迟的问题,模型已经导出静态图了,用的滑窗推理,就是图像比较大,现在batchsize为1,blocksize512,一张图需要10分钟左右,我再尝试加大batchsize试试,
嗯嗯,可以尝试调整batch size、窗口大小、滑动步长、重叠部分融合策略,这些参数都会影响推理速度与效果。如果图像实在太大,而部署服务的机器资源充足,也可以考虑对图像进行分块,然后使用多个进程(每个进程分别有一个模型实例,每个模型实例占用一块GPU)对分块进行并行处理,最后融合。
Thanks for your issue. To help us better solve the issue, please provide the following information:
欢迎您的提问。辛苦您提供以下信息,以方便我们快速定位和解决问题: