模型转化及模型服务化部署精度下降

gitmhg commented 1 year ago

问题确认 Search before asking

[X] 我已经搜索过问题，但是没有找到解答。I have searched the question and found no related answer.

请提出你的问题 Please ask your question

你好，我的机器配置为 paddlepaddle-gpu 2.4.0.post116 paddle-serving-client 0.9.0 paddle-serving-server-gpu 0.9.0.post112 Driver Version: 515.48.07 cuda 11.6

问题： 1、模型训练完成后的训练模型*.pdparams包含参数太多，部署的时候需要通过export_model.py转化为推理模型【model.pdiparams、model.pdmodel】，如过需要serving部署，则需要转为部署模型【serving_server、serving_client】。我在实际操作中发现转为部署模型serving_server时候模型效果变差，比如同一幅图片推理模型【model.pdiparams、model.pdmodel】能检测到两个对象，而通过serving部署serving_server模型只能检测到一个对象，甚至检测不到这个正常吗？ 2、推理模型和部署模型大小不一致

ghostxsl commented 1 year ago

可能会存在微小的diff，但是一般不影响精度，你用的是哪个模型？

gitmhg commented 1 year ago

可能会存在微小的diff，但是一般不影响精度，你用的是哪个模型？

谢谢回复，我用的ppyoloe训练模型，训练模型和推理模型效果很好，但是训练模型转为部署serving模型启动serving服务后，相同图片推理模型能够检测到，serving模型检测不到，或者只能检测到一个。我模型转换命令为： python tools/export_model.py -c configs/ppyoloe/.yml -o weights=.pdparams --export_serving_model=True 比如： python deploy/python/infer.py --model_dir=./output_inference/ppyoloe_plus_crn_m_80e_coco_reflect_cloth --image_file=./output_inference/ppyoloe_plus_crn_m_80e_coco_reflect_cloth/test.jpg --device=GPU 1673941485515_0A5E5491-0BF7-4d22-A023-DF9E6FFE21C4 而我serving推理： {'err_no': 0, 'err_msg': '', 'key': ['image_0'], 'value': ["['0 0.874075710773468 627.9110107421875 285.6461486816406 786.5517578125 470.4158630371094']"], 'tensors': []} 有时候甚至没有检测到目标这是我的模型，您帮我看下链接：https://pan.baidu.com/s/1FOFJ0V5WzcBn3GHzHQytlQ 提取码：6666