search

PaddlePaddle / PaddleCustomDevice

PaddlePaddle custom device implementaion. (『飞桨』自定义硬件接入实现)
Apache License 2.0
68 stars 142 forks source link

在Npu环境上并没有使用npu进行推理 #1383

Open liujiachang opened 4 weeks ago

liujiachang commented 4 weeks ago

每个图片第一次被推理的时候速度都非常慢（10~100秒），第二次被推理时正常（0.5s）。并且第一次推理AICore利用率为0. 代码为PaddleOCR代码，运行ppstructure/predict_system.py。 image image

YanhuiDua commented 4 weeks ago

你好，关于第一次推理慢的问题，请参考 https://github.com/PaddlePaddle/PaddleCustomDevice/issues/1118

liujiachang commented 4 weeks ago

我看过了，最后的结论就是warmup么，检测模型的输入是固定的，但是识别不固定所以只warmup识别模型就可以了吧，我观察我的推理时间也都是卡在识别。但是我的识别模型输入的图片已经将近1000张，他的速度仍然很慢。