search

PaddlePaddle / PaddleOCR

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)
https://paddlepaddle.github.io/PaddleOCR/
Apache License 2.0
42.75k stars 7.68k forks source link

PP-OCRv4 在C++环境下，启用mkldnn加速后，识别结果全部错误 #10885

Closed qq61786631 closed 1 year ago

qq61786631 commented 1 year ago

如题，对于超轻量PP-OCRv4模型，未开启enable_mkldnn指令时，结果正确；但在开启enable_mkldnn后，识别时间变长，且检测和识别的结果均错误。

对于高精度模型PP-OCRv4模型，是否开启enable_mkldnn对运算时间无影响，识别结果均正确，但是计算时间是轻量版本的40倍，明显异常。

而对于PP-OCRv3版本，则没有以上问题，请大师们帮看看啥原因啊

qq61786631 commented 1 year ago

python环境下，启用cpu模式，未开启enable_mkldnn的话，检测结果都是OK的；开启enable_mkldnn，绝大部分结果正确是正确的，但是计算时间也慢的很多。

qq61786631 commented 1 year ago

有同样碰到这种情况的吗，之前问题还有回复，现在咋啥都没了。。。

hiroi-sora commented 1 year ago

同样问题+1。release2.6和2.7的c++推理代码应该是完全没有改动过的。补充一下我的测试结果，用2.6的c++推理代码测试，前端是 Umi-OCR_v2 ：

V4 无mkl，结果正常，速度偏慢。

image

V4 + mkldnn，结果异常，速度极慢。

image 检测结果也是完全错误（红框）： image

V4-server + mkldnn，结果正常，速度快。

image

V4-server 无mkl，结果正常，速度慢。

image

对比：

V3 无mkl，结果正常，速度偏慢。

image

V3 + mkldnn，结果正常，速度非常快。

image

qq61786631 commented 1 year ago

非常感谢，现在更换了Fastdeploy后，一切正常了。特此关贴。 @hiroi-sora

steven-spec commented 11 months ago

非常感谢，现在更换了Fastdeploy后，一切正常了。特此关贴。 @hiroi-sora 你好请问下是fastdeploy是怎么开户mkldnn的呢，没看到选项

chendanikor commented 11 months ago

@steven-spec 不要用mkldnn，用OpenVINO，速度更快

steven-spec commented 11 months ago

OpenVINO

好的谢谢！

mrg79433283 commented 10 months ago

@steven-spec 不要用mkldnn，用OpenVINO，速度更快

请教一下，你用fastdeploy在window server 2012上试过吗，或者有没有遇到过“fastdeploy_main: 找不到指定的模块”的问题呢

caicaicai commented 3 months ago

我发现用了OpenVINO之后，有的地方识别精度有下降。。比如他会帮4识别成1

SeeYouAgainZm commented 1 day ago

C++ 环境下，如何调用mkl对ocr加速呢