search

PaddlePaddle / Paddle

PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice （『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨平台部署）
http://www.paddlepaddle.org/
Apache License 2.0
22.24k stars 5.58k forks source link

Paddle预测同一个网络不同step保存的模型预测性能差异大 #27199

Closed aprilvkuo closed 3 years ago

aprilvkuo commented 4 years ago

一、训练paddle版本

2.0-alpha， 使用TracedLayer动转静部署。    

二、 主要使用的op

GRUUnit, 固定了序列长度。

三、capi版本

1）PaddlePaddle版本：baidu/lib/paddlepaddle@v1.8.4-gcc82-mkl-avx-mkldnn_PD_BL

   2）CPU

四、 模型以及耗时情况

1) 100step的model， 单线程CPU， 每条query平均耗时约为3.5ms。 2) 收敛后的model， 单线程CPU， 每条query平均耗时约为30ms。

五、 模型代码

image

image

jiweibo commented 4 years ago

请问能否提供预测单测和这两个模型，我本地对比测试下

juncaipeng commented 4 years ago

测试代码： http://icode.baidu.com/repos/baidu/personal-code/guohongjie-paddle-pred/blob/lib_paddle_18:test/demo_0902_fo_paddle_18.cpp

image

速度快的模型：

http://bj.bcebos.com/unit-test/guohongjie/model_res_debug.gz?authorization=bce-auth-v1%2F9060efba387a48a2a907559e66c49f25%2F2020-09-14T03%3A36%3A20Z%2F-1%2F%2F11c5cc3616338f87cda09648dba7d5914c301cfce1e69422b7ce5445e2e8e20e

速度慢的模型： http://bj.bcebos.com/unit-test/guohongjie/model_res.gz?authorization=bce-auth-v1%2F9060efba387a48a2a907559e66c49f25%2F2020-09-14T03%3A36%3A27Z%2F-1%2F%2Fdd01695afc55936baf372dc59635a0b78c42325045f843594f623b19147b0791

cpu上单线程profile数据：

image

paddle-bot-old[bot] commented 3 years ago

Since you haven\'t replied for more than a year, we have closed this issue/pr. If the problem is not solved or there is a follow-up one, please reopen it at any time and we will continue to follow up. 由于您超过一年未回复，我们将关闭这个issue/pr。 若问题未解决或有后续问题，请随时重新打开，我们会继续跟进。