search

yinghanguan / PaddleOCR2RKNN

Convert the official paddleocr model to a deployable model on RK1126
33 stars 10 forks source link

检测耗时是什么引起的? #2

Open xxhdxh opened 2 years ago

xxhdxh commented 2 years ago

楼主的模型 跑识别需要1秒多,我用csdn上的一个博主的模型识别只需要几十毫秒 未预编译的是什么原因导致的呢?

yinghanguan commented 2 years ago

1秒多是在板端跑出来的，而我使用的板子是公司自研的，npu使用了RK1126的NPU。据瑞芯微说，在他们的板子上跑只需要100ms，不会存在几十毫秒的问题，另外，预编译模型只会提高模型的加载速度，对推理速度无影响。

xxhdxh commented 2 years ago

1秒多是在板端跑出来的，而我使用的板子是公司自研的，npu使用了RK1126的NPU。据瑞芯微说，在他们的板子上跑只需要100ms，不会存在几十毫秒的问题，另外，预编译模型只会提高模型的加载速度，对推理速度无影响。

我也是板端跑的用的rk1126的板子 按说芯片一样结果按说都一样把 只不过外围不一样是这样么? 跑模型都是在NPU上跑的 这个都是一样的吧. 几十毫秒这个结果 是检测到框之后的单个对象的识别速度 ,整体的话也是100~200ms左右.

还有个问题请教下,输入是固定的 如果我用很宽的图 字中间有空格 是不是就不需要检测模型了? 用OpenCV的投影分割是不是会比检测模型会快点呢?尺寸大概100070左右 缩放到544 32给模型直接识别

yinghanguan commented 2 years ago

1.不是这样的，推理耗时还和cpu有关系，cpu负责准备数据，并向npu发出指令，npu只负责计算，具体推理时间还和访存时间有关系，另外，firefly和toybrick的推理时间不一样，我是测试过的。 2.理论上是可以的，但是具体是多少*32需要在pc端跑一下得出形状，这个形状的准确率是最高的（实测）。

xxhdxh commented 2 years ago
  1. 不是这种时间的，推理还和cpu有关系，CPU负责准备数据，cpu负责推理和推理，npu计算，发出时间和访问存储时间，另外，toybrick的推理 2. 原则是可以的，但需要多少*32在pc端跑一下具体的形状）这个形状的准确度是最高的（实测）。

多谢大佬耐心回复 PC端我用onnx测试的长度出来了.也可以正确识别 . 现在不确定用OpenCV去做裁剪会不会比npu检测模型快, 我的板子现在没有调试线 没办法联机编译rknn 线到了 我试试 再次感谢大佬.

yinghanguan commented 2 years ago

1秒多是在板端跑出来的，而我使用的板子是公司自研的，npu使用了RK1126的NPU。据瑞芯微的技术总监说，在他们的板子上跑只需要100ms，不会存在几十毫秒的问题，另外，预编译模型只会提高模型的加载速度，对推理速度无影响。

在 2022-10-02 17:07:27，"梦想网络" @.***> 写道：

楼主的模型 跑识别需要1秒多,我用csdn上的一个博主的模型识别只需要几十毫秒 未预编译的是什么原因导致的呢?

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>