Open 15116513319 opened 1 year ago
每次输入24张图片进行推理时,首次调用cuda的时间都比较长,大概在200-300ms左右,并且每次输入24张图片推理都会出现这个情况,请问这个问题该如何解决
每次输入24张图片进行推理时,首次调用cuda的时间都比较长,大概在200-300ms左右,并且每次输入24张图片推理都会出现这个情况,请问这个问题该如何解决