PaddleX训练完之后，在CPU上跑，性能极度差，是否有优化的方式

zuiyuewentian commented 4 years ago

PaddleX训练完模型，导出采用FasterRCNN-ResNet50-FPN训练的模型，使用GPU推理速度为0.2s使用cpu高达7~10s左右改成使用YOLOv3-DarkNet53训练模型后，使用GPU推理速度为0.1s左右使用cpu高达50s以上，

场景cpu为8核16G，windows和ubuntu上都测试过，都是这样，在cpu32内核和64G内存下跑的效率更差

请问是什么原因？有什么办法可以解决CPU预测速度？

jiangjiajun commented 4 years ago

PaddleX训练完模型，导出采用FasterRCNN-ResNet50-FPN训练的模型，使用GPU推理速度为0.2s使用cpu高达7~10s左右改成使用YOLOv3-DarkNet53训练模型后，使用GPU推理速度为0.1s左右使用cpu高达50s以上，

场景cpu为8核16G，windows和ubuntu上都测试过，都是这样，在cpu32内核和64G内存下跑的效率更差

请问是什么原因？有什么办法可以解决CPU预测速度？

你好，请先安装PaddleX最新版代码，同时安装paddlepaddle-gpu(如果没有GPU，则安装paddlepaddle) 1.8.4及以上版本

# 先卸载paddlex
pip uninstall paddlex
# 安装paddlex最新代码
git clone https://github.com/PaddlePaddle/PaddleX.git
cd PaddleX
git checkout develop
python setup.py install

建议使用predictor进行预测，开启mkldnn加速，使用方式参考如下

import paddlex as pdx
import cv2
model = pdx.deploy.Predictor('fastrcnn', use_gpu=False, use_mkl=True, mkl_thread_num=8)

im = cv2.imread('test.jpg').astype('float32')
result = model.predict(im)

有任何使用问题，请继续反馈给我们：）

zuiyuewentian commented 4 years ago

PaddleX训练完模型，导出采用FasterRCNN-ResNet50-FPN训练的模型，使用GPU推理速度为0.2s使用cpu高达7~10s左右改成使用YOLOv3-DarkNet53训练模型后，使用GPU推理速度为0.1s左右使用cpu高达50s以上，场景cpu为8核16G，windows和ubuntu上都测试过，都是这样，在cpu32内核和64G内存下跑的效率更差请问是什么原因？有什么办法可以解决CPU预测速度？

你好，请先安装PaddleX最新版代码，同时安装paddlepaddle-gpu(如果没有GPU，则安装paddlepaddle) 1.8.4及以上版本
# 先卸载paddlex
pip uninstall paddlex
# 安装paddlex最新代码
git clone https://github.com/PaddlePaddle/PaddleX.git
cd PaddleX
git checkout develop
python setup.py install
建议使用predictor进行预测，开启mkldnn加速，使用方式参考如下
import paddlex as pdx
import cv2
model = pdx.deploy.Predictor('fastrcnn', use_gpu=False, use_mkl=True, mkl_thread_num=8)

im = cv2.imread('test.jpg').astype('float32')
result = model.predict(im)
有任何使用问题，请继续反馈给我们：）

感谢，已经解决这个问题

PaddlePaddle / PaddleX

PaddleX训练完之后，在CPU上跑，性能极度差，是否有优化的方式 #287