Open sanyangAZ opened 12 months ago
paddle_inference2.1 windows10 avx_mkl_cuda11.0_cudnn8.0_avx_mkl-trt7.2.1.6
安装官方教程部署成功后推理使用一起正常，和使用Demo程序一样。
问题： 1、加载几个模型同时推理时，推理的时间差不多时单个模型推理的几倍。 2、推理较大图片或者同时推理的任务较多时时直接推理失败。 3、长时间推理运行，目前是6个推理线程同时运行，GPU推理，6个线程各自加载一个模型，推理了一万三千多张图片时，推理失败了。 4、一旦推理失败之后，这个模型就再也不能正确推理，必须重新加载模型后才能正常推理。
需要解决： 1、怎么防止推理了大量图片之后突然推理失败的问题。 2、推理失败之后就不能再正确推理，是否有解决办法
paddle_inference2.1
windows10 avx_mkl_cuda11.0_cudnn8.0_avx_mkl-trt7.2.1.6
安装官方教程部署成功后推理使用一起正常，和使用Demo程序一样。
问题： 1、加载几个模型同时推理时，推理的时间差不多时单个模型推理的几倍。 2、推理较大图片或者同时推理的任务较多时时直接推理失败。 3、长时间推理运行，目前是6个推理线程同时运行，GPU推理，6个线程各自加载一个模型，推理了一万三千多张图片时，推理失败了。 4、一旦推理失败之后，这个模型就再也不能正确推理，必须重新加载模型后才能正常推理。
需要解决： 1、怎么防止推理了大量图片之后突然推理失败的问题。 2、推理失败之后就不能再正确推理，是否有解决办法