PaddlePaddle / Paddle2ONNX

ONNX Model Exporter for PaddlePaddle
Apache License 2.0
672 stars 156 forks source link

OCR自动量化后导出为onnx失败 #1131

Open xu-peng-7 opened 11 months ago

xu-peng-7 commented 11 months ago

https://github.com/PaddlePaddle/PaddleSlim/tree/develop/example/auto_compression/ocr

该方案更换ICDAR2015数据集,采用预训练ResNet50模型(更改模型配置即可)可以成功运行,其精度基本不变,速度减少为1/4,获得Inference模型。此时的模型在转为ONNX时报错,缺少量化配置文件(calibration_table.txt),因此只能使用基于TRT的Inference模型推理,在相同环境下,与量化前的模型速度几乎相同。

转换命令:

!paddle2onnx --model_dir /home/aistudio/PaddleSlim/example/auto_compression/ocr/save_quant_ppocr_r50_det/ \ --model_filename inference.pdmodel \ --params_filename inference.pdiparams \ --save_file /home/aistudio/work/ppocr_r50_db_det_slim.onnx \ --opset_version 13 \ --enable_dev_version True \ --deploy_backend tensorrt \ --enable_onnx_checker True

报错信息,缺少 calibration_table.txt

无法通过量化模型起到对OCR加速的效果。

xu-peng-7 commented 11 months ago

https://github.com/PaddlePaddle/Paddle2ONNX/tree/model_zoo/hardwares/tensorrt 提到 : PaddleSlim 量化模型,生成三个文件,分别是模型文件,如 model.pdmodel 或 model,权重文件,如 model.pdiparams 或params,和 scale 保存文件,如out_scale.txt 但是没有 out_scale.txt 文件