search

PaddlePaddle / PaddleOCR

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)
https://paddlepaddle.github.io/PaddleOCR/
Apache License 2.0
43.91k stars 7.8k forks source link

Ubuntu下多线程很慢 #694

Closed zhangshuai0220 closed 4 years ago

zhangshuai0220 commented 4 years ago

开启多线程后模拟并发请求 并发数没有超过线程数 但是响应时间从原来的一个请求的5秒 变成了每个都是14秒了 这个正常吗 单个求请 image

模拟多并发求请的 image

请问怎么配置能加速呢 服务是通过hub serving start -m chinese_ocr_db_crnn_mobile -p 8866 hub serving start -m ocr_system --use_multiprocess --wokers 8启动的 用的cpu的方式

LDOUBLEV commented 4 years ago

在config.json中配置多进程试试，参考文档： https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.8/docs/tutorial/serving.md#%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E5%90%AF%E5%8A%A8 image

zhangshuai0220 commented 4 years ago

在config.json中配置多进程试试，参考文档： https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.8/docs/tutorial/serving.md#%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E5%90%AF%E5%8A%A8 image

试了好像要快一点 但是感觉还是有点慢 请问使用cpu影响速度的瓶颈主要在哪里 cpu核数？cpu主频？ 内存？ 如果想满足30左右的并发 推荐配置是什么样的呢

LDOUBLEV commented 4 years ago

确认了下，现在hub中还没有加mkdnn加速，Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz 上开启MKLdnn加速大概是400ms一张图（检测+识别+预处理后处理），加速30%以上；这个功能后续会完善上

zhangshuai0220 commented 4 years ago

确认了下，现在hub中还没有加mkdnn加速，Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz 上开启MKLdnn加速大概是400ms一张图（检测+识别+预处理后处理），加速30%以上；这个功能后续会完善上

image 我把这里改成True有用吗

LDOUBLEV commented 4 years ago

Hub中目前已经支持mkldnn了，可以通过参数设置是否启用