search

PaddlePaddle / PaddleOCR

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)
https://paddlepaddle.github.io/PaddleOCR/
Apache License 2.0
42.39k stars 7.65k forks source link

不使用源码，直接调用paddleocr库识别，单张图片耗时接近3s #7477

Closed ybshaw closed 1 year ago

ybshaw commented 2 years ago

如题，在本地机器上(cpu)调用paddleocr库，单张图片耗时3s左右，这个时延太长了无法部署，想问下有什么方法加速吗（基于python + flask的方式部署）

LDOUBLEV commented 2 years ago

第一次预测耗时比较慢，模型初始化需要时间，如果是连续多张图预测，从第二张图预测开始，速度会变快很多

在CPU上加速，可以开启mkldnn，设置参数 --enable_mkldnn=True，并设置合适的线程数

neozhu commented 2 years ago

我使用后台任务的进行识别，然后推送结果

ybshaw commented 1 year ago

我使用后台任务的进行识别，然后推送结果

请问大佬是怎么部署的呢，有想过代码参考吗，我基于python+flask部署每一张都很慢

ybshaw commented 1 year ago

第一次预测耗时比较慢，模型初始化需要时间，如果是连续多张图预测，从第二张图预测开始，速度会变快很多

在CPU上加速，可以开启mkldnn，设置参数 --enable_mkldnn=True，并设置合适的线程数

那请问部署服务之后，客户端调用部署好的对外接口也是这种情况吗（除了第一张慢，其他很快），怎么我在本地模拟客户端请求，每一张图片都是很慢呢，有的还需要五六秒的那种

neozhu commented 1 year ago

这种情况吗（

image

你可以测试以下 https://mudblazor-s.dotnet6.cn/ 就用提供源代码和hubservice 运行. 当然图片大小也会影响传输的速度。但想要秒出那可能需要对原来的代码重构用grpc提供服务性能会更好